其他分享
首页 > 其他分享> > GBase 8a MPP 虚拟集群(VC)之间数据交换及join原理简介

GBase 8a MPP 虚拟集群(VC)之间数据交换及join原理简介

作者:互联网

VC与VC间数据交换原理

GBase 8a MPP Cluster的单个集群内部和VC与VC之间的数据交换,使用的是内部DTS传输服务,DTS服务的主要特点是:

1)       高效数据传输,底层内部传输,每个计算节点可以实现1对1、1对多、多对1数据传输;

2)       对用户透明,不需要用户关注底层实现过程;

3)       数据传输同时保证事务一致性;

1.        下图是VC2向VC1发送数据的举例说明:

1)       向管理节点下发insert into vc1.db1.table1 select * from vc2.db2.tb2的SQL;

2)       管理节点集群具有所有表的元数据信息,因此可以直接下发分布式任务给VC2的各个数据节点,VC2 向VC1各节点直接发送数据。

2.        跨VC的join查询、union等场景,也涉及到跨VC的数据搬运,集群内部使用DTS服务完成(这个过程我们称作动态Hash 重分布),对用户无感知:

标签:VC,join,8a,VC2,集群,DTS,数据交换,节点
来源: https://blog.csdn.net/zhaojingxi8211/article/details/122219842