编程语言
首页 > 编程语言> > Java job interview:项目架构研发58赶集通用的实时统计分析平台设计与实践

Java job interview:项目架构研发58赶集通用的实时统计分析平台设计与实践

作者:互联网

先概括一下飞流有四个特点。
第一,释放用户,减少用户开发成本,所以说这个系统是不需要用户编程,只需要登录个网页,点点配置一下,然后等下,数据就出来了。这是很重要的一个点,也是我们想做这个系统的动机。
第二,提供了丰富的分析和统计功能,求和、取平均、最大最小,计数唯一计数,PV/UV的统计非常简单。
第三,提供了强大多维分析能力,针对上面需求可以下到具体的城市或者具体业务来看它的统计指标。
第四,飞流这个平台是基于Kafka、Storm、Hbase。具备很好的可靠性、可扩展性、以及性能
第五,数据接入极其简单,对于日志类数据仅需配置即可接入。
应用来说目前只有两个,一个是监控,很明显,这个系统面向大量的监控,主站三端,全在上面,包括服务三端质量,请求时延是怎么样的,通过飞流承载。另外对服务调用量的监控等等。
大部分的数据已经实时化了,所以业务的统计需求的数据很可能已经在Kafka系统里,简单在飞流上配置一下,他们的需求就可以满足了。最重要它还具备多维分析能力,它是一个多维分析的平台,刚才举的例子,地区、业务线或者来源,当然业务线我那块还没有配置,可以任选维度看一下这个指标情况,所以说可以做精细化的运维,发现一些潜在问题。
整体来说,这是我们飞流设计,非常简单,也比较有效果。
未来会支持以下的效果,刚才看界面还是比较单一,前期没有在界面上做改进,后续会支持Dashboard,展示多样化。饼图、热力图、柱状图,多种周期形式的曲线。
扩展度量类型。另外让目前飞流的用户配置任务还是稍微复杂一点,有些用户希望写一些SQL,我们把SQL用到我们平台上。
最后,我们是站在业务角度来看平台发展,飞流就是一个很典型的平台,还包括我们内部系统云窗平台,也在做这个工作。此外,我们这边还有更多平台,Spark、Yarn、Kylin、Kafka、flume等等。

标签:配置,58,平台,多维分析,用户,Kafka,job,interview,飞流
来源: https://blog.csdn.net/blog_programb/article/details/120374428