数据库
首页 > 数据库> > mysql-Pyspark DataFrameWriter jdbc函数的ignore选项会忽略整个事务还是只是冒犯行?

mysql-Pyspark DataFrameWriter jdbc函数的ignore选项会忽略整个事务还是只是冒犯行?

作者:互联网

Pyspark DataFrameWriter类具有用于将数据帧写入sql的jdbc function.该函数具有–ignore选项,文档中将说明:

Silently ignore this operation if data already exists.

但是它将忽略整个事务,还是仅忽略插入重复的行?如果我将–ignore与–append标志结合起来怎么办?行为会改变吗?

解决方法:

如果表(或另一个接收器)已经存在并且无法合并写入模式,则mode(“ ingore”)只是NOOP.如果您正在寻找诸如INSERT IGNORE或INSERT INTO …之类的东西,那么……您将不得不手动进行操作,例如使用mapPartitions.

标签:apache-spark,pyspark,apache-spark-sql,mysql,jdbc
来源: https://codeday.me/bug/20191013/1905709.html