首页 > TAG信息列表 > StreamingFileSink

Flink（55）：Flink高级特性之流式文件写入（Streaming File Sink）

目录 0. 相关文章链接 1. 流式文件写入介绍 1.1. 场景描述 1.2. Bucket和SubTask、PartFile 2. 案例展示 2.1. 需求 2.2. 开发步骤 2.3. 实现代码 3. 流式文件写入配置详解 3.1. PartFile 3.1.1. PartFile生命周期 3.1.2. PartFile的生成规则 3.1.3. PartFile命名设置 3.2. Part

Flink StreamingFileSink 文件到hdfs 文件一直处于inprogress状态无法生成正式文件

一、问题描述：  任务逻辑是通过实时读取Kafka数据，一分钟计算一次数据，并利用Flink StreamingFileSink将数据落地到HDFS文件中。为了应对大促剧增的数据量，对当前运行稳定的集群进行了扩容处理，任务重启后发现写入的hdfs文件一直处于inprogress状态无法滚动生成正式文件。 任