9092

首页 > TAG信息列表 > 9092

Kafka Docker安装

安装Zookeeper docker run --name zookeeper -d -p 2181:2181 -v /etc/localtime:/etc/localtime library/zookeeper 安装Kafka docker run -d --name kafka -p 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=IP:2181/kafka --env KAFKA_ADVERTISED_HOST_NAME=IP --e

kafka基础使用

生产者/opt/kafka/bin/kafka-console-producer.sh --broker-list kafka.service.consul:9092 --topic 0bkmonitor_15026750 消费者/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server kafka.service.consul:9092 --topic 0bkmonitor_15026750 查询历史数据/opt/kafka/b

kafka-常用命令

常用命令创建Topic： ./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic shixTopic --partitions 2 --replication-factor 1 查看Topic： ./kafka-topics.sh --list --bootstrap-server localhost:9092 生产数据： ./kafka-console-producer.sh --broker-list

kafka~消费群组如何重新消费

今天遇到一个问题，由于代码问题导致了很多kafka消息入到备用库，偏移量已经变成了最新；如何将偏移量重设到某个时间点，但消费群组重新去消费一次，是解决问题的关键，于是，使用了kafka/bin的sh程序，以下是解决问题的步骤：查看某个组的topic偏移量，这步只是查看，没什么配置作用，只是作到心中有数

Flink SQl 语法(hint,with,select,分组窗口聚合，时间属性（处理，事件）)

6、Flink SQl 语法 1、查询语句 1、hint 在对表进行查询的是偶动态修改表的属性 -- 创建表 CREATE TABLE word ( lines STRING ) WITH ( 'connector' = 'kafka', 'topic' = 'word', 'properties.bootstrap.servers' = 'master:9092,no

docker部署kafka集群 (多台服务器，生产上注意先查看版本号)

1. 参考 docker部署kafka集群 (多台服务器) 2. 安装 docker-compose 查看之前的博客进行部署（动动小手） 3. 安装 kafka-cluster 目录结构 docker-kafka-cluster ├── docker-compose .yml ├── .env └── start .sh version: '3' services: kafka-manage

Kafka学习(八) 基本客户端命令操作

主题管理创建主题 1 kafka-topics.sh --bootstrap-server 172.16.100.10:9092 --create --topic TestCCC --partitions 3 --replication-factor 3 列出所有主题 1 2 3 4 kafka-topics.sh --list --bootstrap-server 172.16.100.10:9092 # 对于启

docker 中安装kafka

docker 中安装kafka 在安装kafka之前需要先安装zookeeper，因为kafka 启动会将元数据保存在 zookeeper 中，zookeeper是一种分布式协调服务，可以再分布式系统中共享配置，协调锁资源，提供命名服务。 zookeeper 安装 1、在docker中拉取zookeeper 镜像 docker pull wurstmeister/zookeeper

Windows Docker好方便呀呀呀

Windows Docker好方便呀呀呀今天我需要测试自己写的KafKa基础类库，自己需要搭建一个KafKa环境，自己的云主机不能用，电脑也没有开虚拟机，但是想了一下需要在windows电脑安装Kafka 环境好麻烦呀！！！！后面想到有Windows for Docker 工具可以解决困惑。安装Hyper-V和开启Hyper-V 按以下步

kafka_2.12-3.0.0 版本Topic、producer 命令记录

十年河东，十年河西，莫欺少年穷学无止境，精益求精 kafka 3.0 版本官方文档：https://kafka.apache.org/30/documentation.html 1、topic相关常用命令查询topics列表 bin/kafka-topics.sh --bootstrap-server 192.168.182.128:9092 --listbin/kafka-topics.sh --bootstrap-server 19

kafka 常用

kafka由三部分组成,生产者,broker ,消费者 [root@VM-24-2-centos kafka]# bin/kafka-console-consumer.sh --topic test1 --from-beginning --bootstrap-server localhost:9092 --from-beginning 就把历史数据拿到 kafka集成springboot 生产者消费者

docker

docker 就是容器盒子(类)和class(镜像文件)的关系如果本地没有,就去下载镜像最新, 把镜像拉下来然后放到一个容器上面查看docker镜像的ip 后面才是完整版 docker的网络,桥接模式 docker 常见命令 kafka所有的脚本都存在于bin目录下

kafka

Apache Kafka 是一个开源分布式事件流平台，由Scala和Java编写。 elk建议使用Kafka 版本 0.8.2.0 及更高版本 [下载地址](Apache Kafka) 主配置文件 cat server.properties `broker.id=0` 集群中每个节点必须唯一 `listeners = PLAINTEXT://127.0.0.1:9092` 监听地址 `log.dirs=/t

架构图

服务建议节点数依赖端口 elasticsearch 3 jdk 9200/9300 zookeeper 3 jdk 2181/2888/3888 kafka 3 jdk 9092 filebeat go语言开发，没有依赖 logstash java 9600 kibana 无 5601

普通的搭建kafka-2_12-2.4.1

搭建kafka 一. 概述 1. 介绍 Kafka 是个分布式的、持分区的（partition）、多副本的（replica），基于 zookeeper 协调的分布式消息系统，它最大的特性就是可以实时处理大量数据以满足各类需求场景：日志收集：使用 Kafka 收集各种服务的日志，并通过 kafka 以统一接口服务的方式开放给各种 cons

kafka 实战（ELK+kafka）

准备系统IP应用myiddrocker.id CentOS 7 192.168.100.20 Elasticserach+kibana+kafka+zookeeper 1 1 CentOS 7 192.168.100.30 Elasticserach+kafka+zookeeper+filebeat+logstash 2 2 CentOS 7 192.168.100.40 Elasticserach+kafka+zookeeper+filebeat 3 3 先配置好

Filebeats input多个log文件，输出Kafka多个topic配置

Filebeats input多个log文件，输出Kafka多个topic配置: # cat filebeat.yml filebeat.inputs: - type: log enabled: true paths: - /tagetik/logs/*.log fields: log_topic: tac-service-log tags: ['north-tac-app01'] include_lines: [".*"]

iptables控制

1、#查看iptables iptables -L -n --line-numbers 2、#在tcp协议中，禁止所有的ip访问本机的9092端口，（执行命令的本机也会禁止） iptables -I INPUT -p tcp --dport 9092 -j DROP 3、#允许10.10.5.1访问本机的9092端口 iptables -I INPUT -s 10.10.5.1 -ptcp --dport 9092 -j ACC

第 13 篇 : 安装Kafka-集群

说明因为目前SpringBoot只支持到2.8.1,所以kafka集群以2.8.1版本搭建,且kafka3.0.0已开始弃用Java8… 1. 清除160机器的历史数据 1.1 删除日志 rm -rf /tmp/kafka-logs rm -rf /usr/local/src/kafka_2.13-3.0.0/ ls 1.2 进入Zookeeper客户端,删除掉历史的brokers deleteal

Kafka消息队列

之前也学习过消息队列，但一直没有使用的场景，今天项目中遇到了 kafka 那便有了应用场景 1. Kafka Kafka 是一个分布式、支持分区，多副本的基于 zookeeper 的消息队列。使用消息队列，是应用 A 将要处理的信息发送到消息队列然后继续下面的任务，需要该信息的应用 B 从消息队列

Kafka三种认证模式

Kafka三种认证模式使用kerberos认证 bootstrap.servers=hadoop01.com:9092,hadoop02.com:9092,hadoop03.com:9092,hadoop04.com:9092 security.protocol=SASL_PLAINTEXT sasl.kerberos.service.name=hadoop # 使用本地缓存 sasl.jaas.config=com.sun.security.auth.module.Krb5Lo

Exception in thread "main" joptsimple.UnrecognizedOptionException: zookeeper is not a reco

在创建主题时，在较新版本（2.2 及更高版本）的 Kafka 不再需要 ZooKeeper 连接字符串，即- -zookeeper localhost:2181。使用 Kafka Broker的 --bootstrap-server localhost:9092来替代- -zookeeper localhost:2181。即使用命令： bin/kafka-topics.sh --create --bootstrap-server loca

Kafka连接服务器异常：Connection to node 0 (/127.0.0.1:9092)

问题：在服务器本地可以使用命令行参数连接并且进行发布订阅操作，但是使用spring boot连接服务器则不行，会有如下错误： Connection to node 1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available 这个问题需要我们修改下kafka的配置文件，添加一

【Kafka安装】

我是