Kafka和Spark Streaming实时计算框架整合说明

• Spark Streaming只能充当Kafka的消费者
• Spark Steaming整合Kafka数据，读取Kafka数据有两种方式
  1、Receiver（使用Spark中接受器去处理Kafka的数据）方法----连接zookeeper集群读取数据-----仅作了解（被淘汰）
  2、Direct方法--直连kafka集群读取数据
• 如果Spark Srreaming整合Kafka，需要引入编程依赖
• Spark Streaming整合Kafka数据有两个依赖版本
  1、0.8版本
  2、0.10版本（只有Direct直连方式）
  我们如果引入了Spark-streaming-kafka依赖，那么我们就不需要手动引入kafka-clients依赖了，否则依赖引入冲突，可能会产生一下奇怪的问题

标签：依赖,kafka,Streaming,引入,Spark,Kafka
来源： https://www.cnblogs.com/jsqup/p/16668547.html