其他分享
首页 > 其他分享> > Databend 在数据归档分析中的优秀表现

Databend 在数据归档分析中的优秀表现

作者：互联网

前言

本篇文章基于 Databend 的用户测试体验整理，详情可戳原文链接查看，正文总体分为四部分：

Databend 产品简介

atabend 是一个使用 Rust 研发、开源、完全面向云架构的新式数仓，提供极速的弹性扩展能力，致力于打造按需、按量的 Data Cloud 产品体验。具备以下特点：

Databend 官方教程：https://databend.rs/zh-CN/doc/deploy/oss

Databend 对 Ceph 的支持

Databend 部署

图片

产品架构图

Query 计算节点：用于协议的解析、SQL的计算下推。

Meta 元数据节点：用于存储元数据信息，存储在本地磁盘。

公有云：AWS、阿里、腾讯等的 OSS 产品。

私有化支持：Minlo、Ceph 等等的 S3 协议。

  1. 下载最新的二进制包。
  2. 解压压缩包，并且创建文件夹。
  3. 修改配置文件。
  4. 启动。

操作系统：Centos7Cpeh 版本：12.2.13Databend 版本：v0.7.65
总的来说，Databend 部署相当简单。

第一步：下载 Databend

[root@testsrv ~]#
wget  https://github.com/datafuselabs/databend/releases/download/v0.7.65-nightly/databend-v0.7.65-nightly-x86_64-unknown-linux-musl.tar.gz

第二步：解压缩并创建目录

[root@testsrv ~]#
tar -zxvf databend-v0.7.65-nightly-x86_64-unknown-linux-musl.tar.gz
mkdir /usr/local/databend/{bin,data,etc,logs} -p
mv databend-meta /usr/local/databend/bin/ 
mv databend-query /usr/local/databend/bin/

第三步：修改启动配置文件

[root@testsrv ~]#  meta配置文件修改
cd /usr/local/databend/etc/
cat databend-meta.toml
log_dir            = "/usr/local/databend/logs/_logs1"
metric_api_address = "0.0.0.0:28100"
admin_api_address  = "0.0.0.0:28101"
grpc_api_address   = "0.0.0.0:9191"
[raft_config]
id            = 1
raft_dir ="/usr/local/databend/data/_meta1"
raft_api_port = 28103#172.16.16.12#
raft_listen_host = "172.16.16.12"#
raft_advertise_host = "172.16.16.12"
# Start up mode: singlenode cluster
single        = true

[root@testsrv ~]# query节点配置文件修改
cat databend-query-node-1.toml
[query]
max_active_sessions = 256
wait_timeout_mills = 5000
# For flight rpc. 写当前机器的 IP 和对应的端口号
flight_api_address = "本机IP:9091"
# Databend Query http address.
# For admin RESET 
API.http_api_address = "0.0.0.0:8081"
# Databend Query metrics RESET API.
metric_api_address = "0.0.0.0:7071"
# Databend Query MySQL Handler.
mysql_handler_host = "0.0.0.0"
mysql_handler_port = 3307
# Databend Query ClickHouse Handler.
clickhouse_handler_host = "0.0.0.0"
clickhouse_handler_port = 9001
# Databend Query HTTP Handler.
http_handler_host = "0.0.0.0"
http_handler_port = 8000
tenant_id = "test_tenant"
cluster_id = "test_cluster"
table_engine_memory_enabled = true
table_engine_csv_enabled = true
table_engine_parquet_enabled = true
database_engine_github_enabled = true
table_cache_enabled = true
table_memory_cache_mb_size = 1024
table_disk_cache_root = "/usr/local/databend/data/_cache"
table_disk_cache_mb_size = 10240
[log]
log_level = "DEBUG"
log_dir = "/usr/local/databend/logs/_logs"
[meta]
# To enable embedded meta-store, set meta_address to ""
meta_embedded_dir = "/usr/local/databend/data/_meta_embedded_1"
meta_address = "0.0.0.0:9191"
meta_username = "root"
meta_password = "root"
meta_client_timeout_in_second = 60
# Storage config.
[storage]storage_type = "s3"
# DISK storage.
[storage.disk]
data_path = "/usr/local/databend/data/stateless_test_data"
# S3 storage. If you want you s3 ,please storage type : s3
[storage.s3]
bucket="databend"
region="region"
endpoint_url="Ceph S3的地址"
access_key_id="Ceph S3的key"
secret_access_key="Ceph S3的access"
# Azure storage
[storage.azure_storage_blob]

[root@testsrv ~]# #启动文件修改
/usr/local/databend/bin
[root@testsrv ~]#cat start.sh
ulimit  -n 65535cd /usr/local/databend/nohup /usr/local/databend/bin/databend-meta --config-file=/usr/local/databend/etc/databend-meta.toml 2>&1 >meta.log &
sleep 3
nohup /usr/local/databend/bin/databend-query --config-file=/usr/local/databend/etc/databend-query-node-1.toml 2>&1 >query.log &
cd -
echo "Please usage: mysql -h127.0.0.1 -P3307 -uroot

第四步：启动 Databend

[root@testsrv ~]#
 bash start.sh&

第五步：验证 Databend 并支持 Ceph

[root@testsrv ~]# mysql -h127.0.0.1 -P3307 -uroot  #默认没密码主要看参数  
执行SQL'root'@127.0.0.1 18:59:  [(none)]> 
select * from system.configs; 
显示正常的ceph地址和key等信息表示正常
s3.region              
s3.endpoint_url        
s3.access_key_id       
s3.secret_access_key   
s3.bucke

Databend 在数据归档中的优秀表现

线上的大量的历史数据，比如日志数据，交易流水，如果持续存在 MySQL 中，会占用大量的存储空间，对线上业务性能造成抖动。但是业务还有读取的需求，不能彻底删除，甚至还有一定的分析需求。

例如：业务想计算一下 2000 年某个月某个条件的总数等等，就要考虑对数据进行定期归档，现在归档数据库类型的选择也有很多，可以使用 pt-archiver 工具进行归档，或者利用 DBA 自己写的小程序进行归档。
我们对于归档数据的选择，首先要满足以下条件：

那么在归档库的选型中就有几种可以参考：MySQL（单独归档集群）、Databend 等。

产生 2 亿的数据分别导入到 MySQL、Databend 看一下数据的压缩情况。

物理大小
SQL 88 G
CSV 84 G
Databend 8 G
MySQL 47 G

其中 Databend 的压缩比看起来优势还是很大的。

主要测一下 MySQL、Databend 对于一些计算类型的 SQL 查询响应时间。

环境描述：
服务器硬件配置：40 C，256 G，SSD硬盘。
MySQL：Innodb buffer pool 设置 100 G，SSD 硬盘。
Databend：默认配置，但 S3 是机械硬盘。

select count(*) from ontime;
执行时间
Databend-hdd 0.02 sec
Databend-ssd 0.04sec
MySQL 4 min 9.05 sec

select count(*),Year from ontime group by Year;（没索引）
执行时间
Databend 1.89 sec
MySQL 5 min 19.20 sec
select count(*),Year from ontime group by Year;（year索引）
执行时间
Databend-ssd 0.56 sec
Databend-hdd 1.89 sec
MySQL 2 min 46.72 sec

测试结论：Databend 对比 MySQL 在进行分析类型的 SQL 响应时间上还是略有优势的。\

Databend 支持 MySQL 协议、Clickhouse 协议、HTTP 协议。使用 MySQL 程序基本上可以无缝兼容 Databend。

产品使用总结

在数据库归档上 Databend 相对 MySQL 还是很有优势的，比如数据压缩方面以及数据分析类型 SQL 查询方面。

且 Databend 可以使用机械硬盘，不需要太好的硬件就能跑出很好的效果。 如果大家有归档分析场景的场景，也推荐大家尝试一下 Databend。单纯归档的话，成本可以降很多。如果后面需要计算了 ， 还可以利用 Databend 优秀的特性：比如可以轻松的扩展。

Databend 的部署和支持 Ceph 方面相对简单，主要针对云原生，云数仓等场景，对比传统数据库更有优势。

Query 节点，属于无状态节点。只需要保证 Mate 也就是元数据不丢失即可。可以通过多设置副本的方式。（个人想法，Meta 可以实时保存到存储层一份，做实时备份，只用于紧急恢复使用。）

云场景会保证 OSS 层的高可用。私有云环境就需要保证 Ceph、MinIo 的高可用行。私有化的场景在完善对 k8s 的支持，完全可以做到开箱即用， 真正实现按需计费，按计算能力计费。

作者信息：田帅萌，高级 DBA

关于 Databend

Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。

图片

文章首发于公众号：Databend

标签：Databend,0.0,优秀,归档,databend,usr,MySQL,local
来源： https://www.cnblogs.com/databend/p/16371594.html