读取parquet文件后和其它表join后回写问题

背景

需要对埋点数据进行增量清洗，增量更新parquet数据文件，步骤如下：

• 首次清洗历史所有数据
• 后续每次取增量数据和上次清洗结果做合并

问题

1、如何判断为首次任务，实现方案：

• 方案1:判断指定目录下是否存在数据文件
• 方案2:默认按照增量处理，首次不存在数据文件，通过异常捕获机制全量清洗

2、增量后回写文件失败

It is possible the underlying files have been updated. You can explicitly invalidate the cache in Spark by running ‘REFRESH TABLE tableName’ command in SQL or by recreating the Dataset/DataFrame involved

spark file not exists

原因分析：回写文件时才触发action，真正去读上一次生成的数据文件，而此时由于覆盖写原文件被删除掉，导致文件读取失败。

解决方案：回写文件前触发action，把结果缓存后再用于回写文件即可

标签：回写,join,数据文件,文件,parquet,增量,action,清洗
来源： https://www.cnblogs.com/sheung/p/14864017.html