sparkstreaming

SparkStreaming+Kafka流程:

流式数据-->Flume-->Kafka-->SparkStreaming/StructStreaming/Flink-->Redis/Hbase/HDFS/Mysql

连接Kafka方式:
Direct Approach(No Receivers):
1.KafkaUtils.createDirectStream直连方式,Streaming中每批次的每个job直接调用Simple Consumer API获取对应Topic数据，这种连接方式使用的最多,面试问的最多
2.Direct方式是直接连接Kafka分区来获取数据,从每隔分区直接去读数据大大提高并行能力
3.Direct方式调用Kafka低阶API(底层API），offset自己存储和维护，默认是由Spark维护在chenckpoint中，消除了与zk不一致的情况
4.也可以手动维护,把offset存在Mysql/Redis中

标签：方式,--,Direct,Kafka,API,offset,sparkstreaming
来源： https://blog.csdn.net/qq_44104303/article/details/120841849