从MySQL转储导入Clickhouse

我想从MySQL转储导入Clickhouse.我尝试过official docs,但找不到任何东西.我尝试在Stack Overflow answer之后使用CSV导入.感谢任何帮助.我有一个Ubuntu 16.04 LTS.

解决方法:

在小数据上,导出到tsv可以,但总体上不起作用,因为仅导出会花费很多时间.

在这种情况下,您需要直接从stdout导入,并且clickhouse知道如何完美地进行导入.

示例代码：

mysql -u user  -ppass --compress -ss -e "SELECT * FROM table WHERE id >0  AND id <=1000000" db_name | sed 's/\"//g;s/\t/","/g;s/^/"/;s/$/"/' | clickhouse-client --query="INSERT INTO db_name.table FORMAT CSV"

使用这种方法,我可以在Clickhouse中在7到10个小时内导入500 GB和19亿行

标签：ubuntu-16-04,clickhouse,mysql
来源： https://codeday.me/bug/20191025/1929156.html