其他分享
首页 > 其他分享> > Databend 在数据归档分析中的优秀表现

Databend 在数据归档分析中的优秀表现

作者:互联网

前言

本篇文章基于 Databend 的用户测试体验整理,详情可戳原文链接查看,正文总体分为四部分:

Databend 产品简介

atabend 是一个使用 Rust 研发、开源、完全面向云架构的新式数仓,提供极速的弹性扩展能力,致力于打造按需、按量的 Data Cloud 产品体验。具备以下特点:

Databend 官方教程:https://databend.rs/zh-CN/doc/deploy/oss

Databend 对 Ceph 的支持

Databend 部署

图片

产品架构图

Query 计算节点:用于协议的解析、SQL的计算下推。

Meta 元数据节点:用于存储元数据信息,存储在本地磁盘。

公有云:AWS、阿里、腾讯等的 OSS 产品。

私有化支持:Minlo、Ceph 等等的 S3 协议。

  1. 下载最新的二进制包。
  2. 解压压缩包,并且创建文件夹。
  3. 修改配置文件。
  4. 启动。

操作系统:Centos7Cpeh 版本:12.2.13Databend 版本:v0.7.65
总的来说,Databend 部署相当简单。

第一步:下载 Databend

[root@testsrv ~]#
wget  https://github.com/datafuselabs/databend/releases/download/v0.7.65-nightly/databend-v0.7.65-nightly-x86_64-unknown-linux-musl.tar.gz

第二步:解压缩并创建目录

[root@testsrv ~]#
tar -zxvf databend-v0.7.65-nightly-x86_64-unknown-linux-musl.tar.gz
mkdir /usr/local/databend/{bin,data,etc,logs} -p
mv databend-meta /usr/local/databend/bin/ 
mv databend-query /usr/local/databend/bin/

第三步:修改启动配置文件

[root@testsrv ~]#  meta配置文件修改
cd /usr/local/databend/etc/
cat databend-meta.toml
log_dir            = "/usr/local/databend/logs/_logs1"
metric_api_address = "0.0.0.0:28100"
admin_api_address  = "0.0.0.0:28101"
grpc_api_address   = "0.0.0.0:9191"
[raft_config]
id            = 1
raft_dir ="/usr/local/databend/data/_meta1"
raft_api_port = 28103#172.16.16.12#
raft_listen_host = "172.16.16.12"#
raft_advertise_host = "172.16.16.12"
# Start up mode: singlenode cluster
single        = true
[root@testsrv ~]# query节点配置文件修改
cat databend-query-node-1.toml
[query]
max_active_sessions = 256
wait_timeout_mills = 5000
# For flight rpc. 写当前机器的 IP 和对应的端口号
flight_api_address = "本机IP:9091"
# Databend Query http address.
# For admin RESET 
API.http_api_address = "0.0.0.0:8081"
# Databend Query metrics RESET API.
metric_api_address = "0.0.0.0:7071"
# Databend Query MySQL Handler.
mysql_handler_host = "0.0.0.0"
mysql_handler_port = 3307
# Databend Query ClickHouse Handler.
clickhouse_handler_host = "0.0.0.0"
clickhouse_handler_port = 9001
# Databend Query HTTP Handler.
http_handler_host = "0.0.0.0"
http_handler_port = 8000
tenant_id = "test_tenant"
cluster_id = "test_cluster"
table_engine_memory_enabled = true
table_engine_csv_enabled = true
table_engine_parquet_enabled = true
database_engine_github_enabled = true
table_cache_enabled = true
table_memory_cache_mb_size = 1024
table_disk_cache_root = "/usr/local/databend/data/_cache"
table_disk_cache_mb_size = 10240
[log]
log_level = "DEBUG"
log_dir = "/usr/local/databend/logs/_logs"
[meta]
# To enable embedded meta-store, set meta_address to ""
meta_embedded_dir = "/usr/local/databend/data/_meta_embedded_1"
meta_address = "0.0.0.0:9191"
meta_username = "root"
meta_password = "root"
meta_client_timeout_in_second = 60
# Storage config.
[storage]storage_type = "s3"
# DISK storage.
[storage.disk]
data_path = "/usr/local/databend/data/stateless_test_data"
# S3 storage. If you want you s3 ,please storage type : s3
[storage.s3]
bucket="databend"
region="region"
endpoint_url="Ceph S3的地址"
access_key_id="Ceph S3的key"
secret_access_key="Ceph S3的access"
# Azure storage
[storage.azure_storage_blob]
[root@testsrv ~]# #启动文件修改
/usr/local/databend/bin
[root@testsrv ~]#cat start.sh
ulimit  -n 65535cd /usr/local/databend/nohup /usr/local/databend/bin/databend-meta --config-file=/usr/local/databend/etc/databend-meta.toml 2>&1 >meta.log &
sleep 3
nohup /usr/local/databend/bin/databend-query --config-file=/usr/local/databend/etc/databend-query-node-1.toml 2>&1 >query.log &
cd -
echo "Please usage: mysql -h127.0.0.1 -P3307 -uroot

第四步:启动 Databend

[root@testsrv ~]#
 bash start.sh&

第五步:验证 Databend 并支持 Ceph

[root@testsrv ~]# mysql -h127.0.0.1 -P3307 -uroot  #默认没密码主要看参数  
执行SQL'root'@127.0.0.1 18:59:  [(none)]> 
select * from system.configs; 
显示正常的ceph地址和key等信息表示正常
s3.region              
s3.endpoint_url        
s3.access_key_id       
s3.secret_access_key   
s3.bucke

Databend 在数据归档中的优秀表现

线上的大量的历史数据,比如日志数据,交易流水,如果持续存在 MySQL 中,会占用大量的存储空间,对线上业务性能造成抖动。但是业务还有读取的需求,不能彻底删除,甚至还有一定的分析需求。

例如:业务想计算一下 2000 年某个月某个条件的总数等等,就要考虑对数据进行定期归档,现在归档数据库类型的选择也有很多,可以使用 pt-archiver 工具进行归档,或者利用 DBA 自己写的小程序进行归档。
我们对于归档数据的选择,首先要满足以下条件:

那么在归档库的选型中就有几种可以参考:MySQL(单独归档集群)、Databend 等。

产生 2 亿的数据分别导入到 MySQL、Databend 看一下数据的压缩情况。

物理大小
SQL 88 G
CSV 84 G
Databend 8 G
MySQL 47 G

其中 Databend 的压缩比看起来优势还是很大的。

主要测一下 MySQL、Databend 对于一些计算类型的 SQL 查询响应时间。

环境描述:
服务器硬件配置:40 C,256 G,SSD硬盘。
MySQL:Innodb buffer pool 设置 100 G,SSD 硬盘。
Databend:默认配置,但 S3 是机械硬盘。

select count(*) from ontime;
执行时间
Databend-hdd 0.02 sec
Databend-ssd 0.04sec
MySQL 4 min 9.05 sec

select count(*),Year from ontime group by Year;(没索引)
执行时间
Databend 1.89 sec
MySQL 5 min 19.20 sec
select count(*),Year from ontime group by Year;(year索引)
执行时间
Databend-ssd 0.56 sec
Databend-hdd 1.89 sec
MySQL 2 min 46.72 sec

测试结论:Databend 对比 MySQL 在进行分析类型的 SQL 响应时间上还是略有优势的。\

Databend 支持 MySQL 协议、Clickhouse 协议、HTTP 协议。使用 MySQL 程序基本上可以无缝兼容 Databend。

产品使用总结

在数据库归档上 Databend 相对 MySQL 还是很有优势的,比如数据压缩方面以及数据分析类型 SQL 查询方面。

且 Databend 可以使用机械硬盘,不需要太好的硬件就能跑出很好的效果。 如果大家有归档分析场景的场景,也推荐大家尝试一下 Databend。单纯归档的话,成本可以降很多。如果后面需要计算了 还可以利用 Databend 优秀的特性:比如可以轻松的扩展。

Databend 的部署和支持 Ceph 方面相对简单,主要针对云原生,云数仓等场景,对比传统数据库更有优势。

Query 节点,属于无状态节点。只需要保证 Mate 也就是元数据不丢失即可。可以通过多设置副本的方式。(个人想法,Meta 可以实时保存到存储层一份,做实时备份,只用于紧急恢复使用。)

云场景会保证 OSS 层的高可用。私有云环境就需要保证 Ceph、MinIo 的高可用行。私有化的场景在完善对 k8s 的支持,完全可以做到开箱即用, 真正实现按需计费,按计算能力计费。

作者信息:田帅萌,高级 DBA

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

图片

文章首发于公众号:Databend

标签:Databend,0.0,优秀,归档,databend,usr,MySQL,local
来源: https://www.cnblogs.com/databend/p/16371594.html