首页 > TAG信息列表 > apache-kafka-connect

java-Kafka JDBC连接器中的自定义分区分配

我有一个用例,其中我需要根据消息中的某些关键参数编写自定义逻辑来分配分区.我对此进行了一些研究,发现kafka转换支持重写Transformation接口中的某些方法,但是我无法在git hub或其他地方执行一些示例代码.有人可以共享示例代码或git hub链接在kafka JDBC源连接器中进行自定义分区

如何为IoT中心的每个新生产者添加新的Kafka主题?

我正在研究Azure云解决方案.我正在使用连接到Kafka的IoT中心来处理来自各种IoT设备的数据. 我面临的是,来自多个设备的所有数据都存储在同一主题中.但是,我想将连接到IoT中心的每个设备的数据处理到Kafka中的特定主题(每个设备都有自己的Kafka主题) Toketi“ Azure IoT中心的Kafka

java-在Kafka连接器中设置分区策略

我正在使用自定义的Kafka连接器(使用Kafka Connect的Java API用Java编写)从外部源提取数据并存储在主题中.我需要设置自定义分区策略.我了解可以通过设置partitioner.class property在Kafka Producer中设置自定义partitioner.但是,此属性对于Kafka连接器似乎没有任何作用.如何配置K

java-如何将Apache Kafka与Amazon S3连接?

我想使用Kafka Connect将数据从Kafka存储到存储桶s3中.我已经在运行一个Kafka的主题,并且创建了一个s3存储桶.我的主题包含有关Protobuffer的数据,我尝试使用https://github.com/qubole/streamx并获得了下一个错误: [2018-10-04 13:35:46,512] INFO Revoking previously assigned

java – 调试自定义Kafka连接器的简单有效方法是什么?

我正在使用几个Kafka连接器,我在控制台输出中没有看到它们的创建/部署中的任何错误,但是我没有得到我正在寻找的结果(没有任何结果,无论如何,期望或除此以外).我根据Kafka的示例FileStream连接器制作了这些连接器,因此我的调试技术基于使用示例中使用的SLF4J Logger.我已经搜索了我

java – Kafka Connect SourceTask的轮询间隔

我正在使用Kafka-Connect API实现自定义Source Connector,可用于轮询REST-API并将JSON响应接收到Kafka主题中.现在我想知道如何实现SourceTask的轮询间隔,JDBC Connector如何提供.某处我必须将线程设置为睡眠状态,但我必须在哪里执行此操作?解决方法:我通过添加long类型的私有字段来