数据中心是一家互联网公司非常重要的一个部门,这是大公司必有的用户画像分析,分析用户行为日志,从而来定产品方向的迭代优化,韭圈基本前期没有什么数据中心,我们的需求都是粉丝提出来的,我们基本都是按照粉丝想要的方向去迭代改进,但随着韭圈功能复杂度的提升,有很多需求是单个人想要的,而不是群体的,需求池里上百页的需求,程序员已经卷不动了。不知道先从哪一个开始比较好。这时候呢,分析数据就是一项比较重要的工作了。同理还有那么多视频,课程,先做哪个,先录哪个。哪个系列是用户比较喜欢的。哪个帖子是用户比较喜欢的,以及哪个功能。
最开始韭圈数据是三方uniapp的 发现uniapp的统计功能极差,是的这里只能用极差来评价他,几乎没有,看的非常乱。后采用被阿里收购的友盟来做,前期 UV PV DAU 都没什么问题,但如果遇到漏斗分析 分析一个功能的时候,这时候就捉襟见肘了。
为了解决这一问题,韭圈必须要成立自己的数据中心,进行数据上报,经过祥瑞细心调研,问过几个前同事,韭圈面临俩个方案选择。
一种是elk ( Elasticsearch、Logstash、Kibana),一种是hadoop(这里就解释下,之前给用户解答下。hadoop作为数据业务架构核心之一,做数据仓储分析用的,不是做量化策略用的)。这俩个方案最好的是hadoop 但这是对于大而全的成熟互联网团队,有专门的人去管它,Elasticsearch作为全文搜索引擎,在搜索领域是互联网最前沿的标杆。比如社区的搜索,小说。都可以作为亿级别的存储方案。
后面韭圈为什么选择了集群elasticsearch呢?有俩个维度,一个是elk 上手容易 操作简单,并有kibana作为可视化分析(因为北落一直有个需求,说把用户搞个可视化表格一样,放在公司屏幕上。让所有人看见每天的增长变化,用于自省)。
还有最重要一个维度,便宜 。 这里想说下阿里云,阿里云作为国内云SASS解决方案,提供非常多的组件,但随之而来的就是稍微收一点点费用,hadoop集群要比elasticsearch贵一倍以上,综合考虑 我还是选择了ES 毕竟每天50万左右的数据 也不是很多。
创业公司到成熟互联网公司,一步一个脚印走着,千万不能一步迈很大,伤者本体就得不偿失了。我一直提倡,没有业务,就不要空炫技术。技术跟着业务中,相辅相成才会共同进步。就这样韭圈简易的数据中心成立了,自己做埋点上报,确实解决了很多运营想看的数据。当公司大道一定程度,会考虑hadoop的。