[数据链路排查]

主要操作步骤及命令

• 检查客户端的agent及采集器状态

linux
启动agent命令
/usr/local/ges/agent/bin/gsect/ start
启动采集器命令
/usr/local/gse/plugins/bin/start.sh basereport
/usr/local/gse/plugins/bin/start.sh processbeat
agent相关日志路径
/var/log/gse
 

window

#启动agent
cd C:\ges\agent\bin
.\gsectl.bat  start             

#启动采集器
cd C:\gse\plugins\bin
.\start.bat  basereport

---

• 检查kafka

检查kafka是否获取到原始数据
/data/bkce/service/zk/bin/zkCli.sh -server zk.service.consul:2181

脸上zk终端后，显示CONNECTED，然后输入以下命令获取topic
get /gse/config/etc/dataserver/data/1001

source /data/install/utils.fc
cd /data/bkce/service/kafka/bin
# 确认存在topic
bash ./kafka-topics.sh --list --zookeeper zk.service.consul:2181/common_kafka  | grep $topic 
# 确认topic的配置
bash ./kafka-topics.sh --zookeeper zk.service.consul:2181/common_kafka --describe --topic $topic
# 查看topic中的最新数据
bash ./kafka-console-consumer.sh --bootstrap-server $LAN_IP:9092 --topic $topic

查看kafka节点是否正常
/data/bkce/service/zk/bin/zkCli.sh -server zk.service.consul:2181 ls /common_kafka/brokers/ids

若是节点有缺失
则删除缺失节点机器的此文件
rm -f /data/bkce/public/kafka/.lock
再重启kafka
./bkcec stop kafka
停止kafka后需要确认是否有kafka的残余进程，有则需要kill掉残余进程
./bkcec start kafka
重启完再次确认状态
./bkcec status kafka

---

• 重启bkdata的databus和dataapi服务

登录dataapi服务器
ssh $BKDATA_DATAAPI_IP
supervisorctl -c /data/bkce/etc/supervisor-bkdata-dataapi.conf restart all

登陆databus服务器
ssh $BKDATA_DATABUS_iP
supervisorctl -c /data/bkce/etc/supervisor-bkdata-databus.conf restart all

---

 

 

 

标签：bin,service,数据链,zk,kafka,topic,排查,data
来源： https://www.cnblogs.com/mailong/p/13122137.html