首页 > TAG信息列表 > consumerConfig

【Spark Streaming Kafka】Spark流处理消费Kafka数据示例代码

代码 package test import org.apache.kafka.clients.consumer.{ConsumerConfig, ConsumerRecord} import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.{SparkConf, TaskContext} import org.apache.spark.streaming.dstream.{DStream

消息中间件---kafka---集成springboot

springboot 和kafka的整合 添加pom文件 <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> &

springboot kafka批量消费

配置/**  * @ClassName KafkaConsumerConfig  * @Description 这里描述  * @Author admin  * @Date 2021/2/25 15:02  */ @Configuration public class KafkaConsumerConfig {     @Value("${spring.kafka.consumer.bootstrap-servers}")     private S

kafka入门到精通

kafka 一、kafka基础术语 1.1 Topic 主题,使用类别属性划分消息所属类,而划分消息的类称之为topic 1.2 Partition 分区,topic中的消息被分割为一个或多个partition,对应到系统上就是一个或多个目录,FIFO队列,能保证局部有序 注意:消费者和分区关系,一个consumer可以对应多个分区,但是一个分

Spring Boot中并发批量处理Kafka消息

在项目开发中,kakfa是我们经常使用的消息中间件,用于上下游解耦合,或者对流量“削峰填谷”。 kafka的写性能非常高,但是消息的消费速度依赖于消费者的处理速度。因此,经常会碰到kafka消息队列拥堵的情况。这时,我们不能直接清理整个topic,因为还有别的服务正在使用该topic,只能额外启动

Kafka消费者 API

  package com.kpwong.consumer; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaCons

kafka消费者全部数据

1.目的   每次消费数据时从最开始消费,主要是做数据预览。 2.设置offset.reset Properties properties = new Properties(); properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers); properties.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "demo"); pr

Kafka 消费者API

消费者api,自动提交offset public class MyConsumer { public static void main(String[] args) { Properties props = new Properties(); //连接的集群 props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"hadoop102:9092"); //开启自动

kafka将消费进度重置到最新的位置

      /** *重置kafka消费进度 *参数中需要指定kafka集群中一台broker地址,要重置的topic名称,消费组,以及partition个数 */public static void seekLatest(String broker, String topic, String group, int partitionCnt){ Map<String, Object> configProps = new HashMap<>

Kafka——SpringBoot整合(消费者)

目录 单线程消费 pom consumerConfig consumer 批量消费 javaConfig 消费者 BatchConsumer 选择自动提交还是手动提交方式和业务场景相关,可以查看前面的博客,根据原理进行选择。 单线程消费 pom <dependency> <groupId>org.springframework.boot</grou

记一次千万级DAU产品的Mysql插优化入性能提升10倍

## 系统简介参与创业的第二年,产品的DAU终于突破了1000万,对于一个后端&大数据开发来说,这是一件多么刺激的事情。准确来说是两款产品,一款是走路类的产品(DAU是800万),另外一款是feed流资讯类产品(DAU是300万)。新上线的一个功能是客户端的埋点,用于产品和用户行为分析,数据丢失不敏感。目