【大数据面试】【框架】kafka

一、基本信息

1、组成

生产者

broker

消费者

zookeeper：brokerid、consumer信息（不包含生产者的信息）

2、需要安装多少台

2 * (生产者的峰值生产速率 * 副本 / 100) + 1 = 3

生产环境下，配置副本的数量为2-3个，2个居多

3、副本的优势和劣势

副本越多，越能提高可靠性

增加了网络IO传输

4、峰值生产速率，一般在百兆左右每秒

需要使用压力测试

如，10T数据，多长时间可以传输完

消费速率也是百兆每秒

5、监控器用的什么

kafka egale、monitor、manager，都是开源的

我们都是自己研发的，怎么回答，仰视大佬

6、kafka数据保存多久

默认保存7天，生产环境下建议保存3天

原因：当天把数据消费完，才能做到T+1模式，消费完数据

 

没有必要保存7天

其他原因：

日志服务器已经保存了30天☆（logfile）

7、数据量

 

二、挂了

三、丢失数据

四、重复数据

五、数据积压

六、优化

七、其他

标签：副本,框架,保存,kafka,面试,速率,数据,百兆
来源： https://www.cnblogs.com/liujinhui/p/15677425.html