首页 > TAG信息列表 > apache-storm

java-在Apache Storm bolt中使用Apache Camel ProducerTemplate

我正在尝试编写简单的Storm Camel项目. 我的Storm拓扑分析了tweet,一个螺栓应该将tweet文本发送到apache骆驼路线,而后者又使用websocket通知了一些webapp. 当尝试使用一次CamelContext构建时,由于从螺栓接收到NotSerializableExceptions,因此我无法使其工作. 我已经尝试过的： >在Bo

java-如何设置TOPOLOGY_MAX_SPOUT_PENDING参数

在拓扑中,我从Kafka队列中读取触发消息.收到触发消息后,我需要向螺栓发送大约4096条消息.在螺栓中,经过一些处理后,它将发布到另一个Kafka队列(另一个拓扑将在以后使用此队列). 我正在尝试设置TOPOLOGY_MAX_SPOUT_PENDING参数以限制要发送的邮件数量.但我看到它没有任何作用.是否因

Java-Apache Storm：在Bolt内获取拓扑名称

如何在BaseRichBolt实现中获取当前拓扑的名称？我看到我可以通过prepare()调用访问stormConfig映射和TopologyContext,但是如何从这两个中获取运行拓扑的名称并不明显.解决方法:您可以从配置映射中获取它. 使用config.get(Config.TOPOLOGY_NAME) http://nathanmarz.github.io/storm/d

java-如何通过eclipse在本地群集/模式下调试Apache Storm

使用以下问答,我设法通过Eclipse在Apache Storm集群(本地运行)上启用了调试功能. How to debug Apache Storm in Eclipse? 我的conf / storm.yaml具有以下行,可在工作程序节点上启用调试： worker.childopts: "-agentlib:jdwp=transport=dt_socket,address=8000,server=y,suspend=y"

java – 推荐什么版本的JVM用于Storm

JVM 7及更高版本与Storm有效吗？我需要注意哪些问题？我依旧记得以前读过一些关于此的东西,但对于我的生活,我再也找不到任何关于它的信息了.解决方法:如果你正在使用JVM 7及更高版本,那么你是安全的,请记住使用与拓扑目标版本相同的版本运行nimbus和supervisor,即如果你的目标是Java 7

java – 无法从Storm教程中运行风暴启动器拓扑

在遵循风暴启动器repo中的指南时,我无法实际运行任何拓扑 – 如ExclamationTopology. mvn clean install -DskipTests = true成功运行,从顶级Storm repo执行,就像在storm-examples级别的mvn包一样. 当我尝试运行storm jar target / storm-starter-2.0.0-SNAPSHOT.jar org.apache.st

java – Apache Storm：通过Source Spout到Final Bolt的唯一ID跟踪元组

我想要一种在整个Storm拓扑中唯一识别元组的方法,这样每个元组都可以从Spout跟踪到最终的Bolt. 我理解它的方式是从一个spout传递一个唯一的消息id,例如： String msgID = UUID.randomUUID(); // emits a line from user tasks with msg id outputCollector.emit(new Values(task),

java – 添加jsoup作为提供的依赖项后,Storm命令因NoClassDefFoundError而失败

我在我的项目中使用JSoup,并且已经在我的POM文件中声明了依赖项.它编译得很好并且运行也很好,但只有当我使用带有所有依赖项的jar并且更改具有编译的依赖项的范围时. 如果我将此范围更改为提供,那么我仍然可以正常编译,但不能运行它.它给了我ClassNotFoundException.我已经在类路径

python – 根据Celery的结果路由到worker？

我最近一直在使用Storm,其中包含一个名为字段分组的概念(与Celery中的group()概念无关),其中具有某个键的消息将始终路由到同一个工作者. 为了更清楚地定义我的意思,这里是来自Storm wiki. Fields grouping: The stream is partitioned by the fields specified in the groupi

java – 在storm中使用字段分组时,已知字段值或超时是否有限制？

我使用Apache Storm进行字段分组,效果很好. 但是如果我有无数个字段值,那就意味着风暴必须在其螺栓中跟踪无限数量的值！否则,某些值将转到错误的螺栓,它将破坏任何缓存技术. 我想在螺栓的某个地方有一个缓存,它有一个到期系统或/和对字段值数量的限制,以检查螺栓字段分组.是否可以调

java – 将字节数组发送到storm kafka bolt

我写了一个风暴拓扑.我基本上想要以字节数组的形式将avro架构中的元组发送到kafka主题. 这就是我设置螺栓的方法： builder.setBolt(KAFKA_AVRO_BOLT_NAME, new KafkaBolt<String, byte[]>()) .fieldsGrouping(BOLT1, new Fields("key")); 这就是我转换为字节数组的