首页 > TAG信息列表 > apache-zookeeper
java-分布式系统中的消息传递和信令
我有一个分布式视频分析系统,该系统包括： 1. feature extraction: generated lots of features(20+) from each frame of the video 2. multiple detectors(in different machine): * Each of them will get a subset of feature * Each of them needs the features from multjava-Zookeeper用于分配分片索引
我在网上看到一些有关使用Zookeeper为服务器上线时向服务器分配分片号的帖子(假设您正在对群集中的数据进行分片)-但是我一生都找不到如何执行此操作的Java代码示例.有人已经在工作吗？谢谢.解决方法:在整个群集中分片数据时,有很多细节,例如复制和从故障中恢复.我通过分片来假设您的java-CuratorTransaction KeeperErrorCode = NoNode
我正在尝试使用Java的Apache Curator库中的事务将数据写入ZooKeeper. 这是我的代码： private CuratorFramework client; ... private void writeToZK() { String nodePath = "/path/to/node"; client.inTransaction().create().forPath(nodePath).and().commit(); // probl如果通过类java.lang.reflect.Field的’set’方法设置了值,那么它在并发性方面是否具有可见性？
在此方法的Java文档中,未提及并发性,因此’set’方法似乎不能确保可见性.我对此不确定. 实际上,由于这个问题,我遇到了困难.我将基于Zookeeper构建一个分布式配置平台.像其他配置平台一样,如果字段由特定注释注释,则该平台会将其映射到Zookeeper中的节点.更改映射节点的值后,动物园org.springframework.context.ApplicationContextException：无法启动bean’org.springframework.kafka.config.in
我正在开发Spring Boot Apache Kafka Apache Zookeeper示例.我已经在本地Windows机器上安装/设置了Apache Zookeeper和Apache Kafka.我已经从链接：https://www.tutorialspoint.com/spring_boot/spring_boot_apache_kafka.htm获得了一个引用,并按原样执行了代码： 设置：https://medium.cjava – 如何在使用spring boot时配置动态属性？
我打算将Spring Boot用于我的任务.它是一个连接数据库的典型服务器应用程序.我知道我可以使用Spring Configuration外部化我的属性,例如数据库连接细节.但我还有其他需要在运行时更新的动态属性.例如脚蹼/功能标志.我的应用程序的某些功能需要动态控制,例如设想像app.cool-feature.java – Kafka – 经纪人：团队协调员不可用
我有以下结构： zookeeper: 3.4.12 kafka: kafka_2.11-1.1.0 server1: zookeeper + kafka server2: zookeeper + kafka server3: zookeeper + kafka 使用kafka-topics shell脚本创建具有复制因子3和分区3的主题. ./kafka-topics.sh --create --zookeeper localhost:2181 --topic t如何监视Kafka消息的应用程序处理以进行负载测试
有一个应用程序(不是我的)从Kafka读取消息,对它们进行一些处理,并将记录存储在数据库中.我已经用Java编写了一个程序,它以给定的速率将消息写入队列.现在,它通过在测试运行结束时查询数据库来确定性能的简单度量,以确保记录在=记录中.但是,我想扩展它以定期检查队列,以查看应用程序是否有用于通知和等待的python库？
我正在使用python-zookeeper进行锁定,我正试图找出一种方法来让执行等待通知,当它正在观看文件时,因为zookeeper.exists()立即返回,而不是阻塞. 基本上,我有下面列出的代码,但我不确定实现notify()和wait_for_notification()函数的最佳方法.可以使用os.kill()和signal.pause()来完java – Apache Curator分布式锁
我知道Apache Curator可以执行分布式锁定功能,该功能构建在zookeeper的顶部.根据Apache Curator官方网站上发布的文档,它看起来很容易使用.例如： RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000, 3); CuratorFramework client = CuratorFrameworkFactory.newClient("spring – 使用zookeeper在集群中计划的任务
我们使用Spring来运行可以在单个节点上正常工作的计划任务.我们希望在N个节点的集群中运行这些计划任务,以便在一个时间点由一个节点执行任务.这是针对企业用例的,我们可能期望多达10到20个节点. 我研究了各种选择： >使用Quartz,它似乎是在群集中运行计划任务的流行选择.缺点：我想避如何使用kazoo观察Python中的后代子节点？
我最近开始使用Python for Zookeeper.我正在为Zookeeper使用kazoo库. 我有一个非常简单的用例,使用kazoo for Zookeeper.我有一个根节点是 – / root.现在我需要监视根节点/ root,如果添加到根节点/ root的新节点是/ root / testing,那么我只会监视/ root / testing节点.我不想在java – 使用HBql Zookeeper不会尝试使用SASL进行身份验证
我想测试HBql以简单使用HBase.我按照HBql网站(http://www.hbql.com/installation.html)中描述的步骤进行测试.最后在HBql-console中键入version-command以验证我的安装时,我收到以下消息： [main] INFO org.apache.zookeeper.ZooKeeper - Client environment:zookeeper.version=3.4.java – 每当有任何新行或任何新更新时从Cassandra数据库中拉出来？
我正在开发一个系统,我需要在Cassandra数据库中存储Avro Schemas.所以在Cassandra,我们将存储这样的东西 SchemaId AvroSchema 1 some schema 2 another schema 现在假设我在Cassandra的上表中插入另一行,现在表格就像这样 –java – 复制/迁移旧的zookeeper znode / data到新的zookeeper
我们有一个旧的zookeeper 3群集仲裁,其中一些永久路由信息存储在znodes / data中.现在我们在不同的数据中心设置另一个全新的3群集仲裁,我们希望将路由信息迁移到它.什么是最可靠的方法呢？ 会简单地复制交易日志吗？ 快照还是更好？或者,是否有一些工具可以从旧的znode中提取数据并将创java – Kafka突然重置消费者Offset
我正在和Kafka 0.8& zookeeper 3.3.5.实际上,我们有十几个主题,我们正在消费没有任何问题. 最近,我们开始提供并消费一个有奇怪行为的新主题.消耗的偏移突然重置.它尊重我们设置的auto.offset.reset策略(实际上是最小的),但我无法理解为什么该主题突然重置其偏移量. 我正在使用高级java – 从Solr组件代码中获取Zookeeper url和Solr集合名称
我正在编写一个自定义Solr组件,它使用CloudSolrServer实例对分布式索引执行辅助查询.我以通常的方式从solrconfig.xml配置中获取Zookeeper url和集合名称： String zookeeper = params.get(ZOOKEEPER_URL); String collection = params.get(COLLECTION_NAME); 我想从我的solrconfiglinux – Startin HBase Shell – Zookeeper存在但失败了
我想在Ubuntu上运行HBase.我已经安装了它并且可以启动它(它会抛出一些警告,因为我使用的是64位系统,但我被告知我可以忽略它们).但是,当我尝试启动shell时,我收到下面的错误消息,但我是新手,所以我很难弄明白.它说Zookeeper存在但失败了4次 – 你知道为什么吗？ 2015-12-03 12:34:37java – 在ZooKeeper中,有没有办法以原子方式编写层次结构而不自己实现分布式锁？
假设我想把这棵树写成动物园管理员 . a . / \ . b c . / \ . d e 一些其他客户端可以在创建它之后立即删除节点b,但在我能够写入节点“d”或“e”之前. 有没有办法可以原子地编写这个层次结构,或者可能锁定某个路径？解决方法:您python – 盒子里的Kafka：无法从主机发送消息
我创建了一个Vagrant / Ansible手册来构建单节点Kafka VM. 我们的想法是在原型设计时提供一些灵活性：如果我们想要一个快速的&脏Kafka消息队列我们可以简单地克隆[我的’kafka在一个盒’回购’,CD ..和流浪汉. 这是我到目前为止所做的： Vagrantfile： VAGRANTFILE_API_VERSION = "2"如何在kafka中找到分配给哪个主题分区的消费者？
我正在构建一个kafka管理器工具,我需要检查哪个主题分区分配给一个使用者组中的哪个使用者. 假设存在具有n个分区的消费者群组-A消费主题-A,因此在不同VM中托管的群组A中可以有多个消费者.那么如何找到哪个分区被分配给哪个消费者主机？在kafka 0.9.1中有可能吗？ 提前致谢.解决方法:您java – 我需要我的Spring Boot WebApplication在JUnit中重启
在没有进入令人难以忍受的细节的情况下,当我同时运行Junit测试时,我遇到了问题.如果我一个接一个地运行它们,一切都很棒！否则我遇到麻烦,因为我无法在junit-test-class之间重启我的WebApplication.这导致我在我的WebApplication中拥有Zookeeper服务器客户端,在我完成关闭并启动Zooke