【TPC-DS】trino+S3+hive+postgresql性能测试----生成简单数据验证环境（三）

1、安装与配置 下载安装包

git clone https://github.com/gregrahn/tpcds-kit.git
cd tpcds-kit/tools
make OS=LINUX

存放的位置为：/root/trino （备注：自己定义即可，尽量与trino-server-363放在同一层目录，方便自己查找）   （125\124\123\122）环境安装：awscil

yum -y install awscli

  配置环境 注意：每台服务器都要进行相同的配置

aws configure
aws_access_key_id = GVO55HIKELKQIN4QSOPL
aws_secret_access_key = XgdhYuGsXHHg3yi0WySVQ8GwztW4SpIrL5irUdlA
Default region name [None]: cn-south-2
Default output format [None]: json

2、生成测试数据 如何编译及使用TPC-DS生成测试数据：https://cloud.tencent.com/developer/article/1078882 （可根据自己的方式存放）数据存放的目录，示例图如下截图所示：

cd /root/trino/tpcds-kit
mkdir TpcdsData
cd /root/trino/tpcds-kit/tools
./dsdgen -SCALE 1GB -DIR /root/trino/tpcds-kit/TpcdsData    #单条生成测试数据
./dsdgen -SCALE 500GB -DIR /root/trino/tpcds-kit/TpcdsData -parallel 4 -child 4   #并行生成测试数据 

单独在开一个窗口，执行命令查看数据生成情况

cd /root/trino/tpcds-kit/TpcdsData
du -sh *

  3、修改mys3文件 （124）在生成数据的目录下，新建一个script文件夹存放mys3.sh文件，示例：/root/trino/tpcds-kit/TpcdsData/script/mys3.sh

选择一个语句，进行环境的验证，示例：选择了第一个语句，将/root/trino/tpcds-kit/TpcdsData/call_center.dat的TPC数据写入到S3的call_center中

aws --endpoint-url http://obs.cn-southwest-2.myhuaweicloud.com s3 cp /root/trino/tpcds-kit/TpcdsData/call_center.dat s3://fastdata-tsdb/deepdevhwc/syw_postgreSQL_TPCds/call_center/

 

 

 

 

 

 

标签：postgresql,tpcds,S3,hive,kit,TpcdsData,cd,root,trino
来源： https://www.cnblogs.com/syw20170419/p/15593380.html