日志数据埋点-大促保障（日志采集链路优化）

参考 《大数据之路 阿里巴巴大数据实践》

日志规模化采集方案的目标：

　　1、实现与终端技术特点无关

　　2、高度扩展性

　　3、高度适应性

海量日志数据的 采集、传输、处理、应用的过程优化：

1、日志的请求url尽可能的靠前的布置路由差异，今早的进行分流。降低日志处理过程中分支判断消耗，并作为后续资源调配的前提，提高资源利用率。

2、日志服务器进行分流。结合日志的重要程度及各类日志的大小，实现服务器层面的分流。

3、由服务器像客户端推送配置，实现客户端日志采集方案的动态调整。高峰时期推送配置，对非重要日志进行限流，错峰后恢复。

　　配置首先包括作用范围，可以针对应用、平台、事件、事件中的某个场景等进行限制

　　其次包括具体实施，包括延迟上报、部分采样等。

4、针对于实时性要求比较高的日志，从业务上进行改造，实现端上记录，以及链路各环节进行优化，如采集服务器直接调用业务API实现业务计算，减少传输过程和过多的处理。

备注：

　　部分采样：即满足条件的日志将被实施采样。

　　延迟上报：即配置生效后，满足条件的日志将被暂时存在客户端，待配置恢复后再上传到服务器

标签：采样,配置,采集,大促,服务器,日志,埋点,客户端
来源： https://www.cnblogs.com/baigeidadui/p/14171841.html