请教大家个问题, 关于数据方面的. 公司主要做巨量引擎广告投流的. 投手们搭建广告后需要对广告投放数据进行分析. 巨量引擎提供了拉取数据的接口,可以拉取广告维度的实时数据(有频控). 广告只要有消耗数据就会发生变化,所以现在每次都是拉三天的数据. 目前的做法是传统Java数据统计的办法. 首先对广告账户数据进行mapReduce分片,然后对应的机器节点拉取不同账户下的广告数据去查Mysql,广告数据存在就更新,不存在就添加. 每天几千万W的数据量吧,单次拉取也有几百W了. 感觉后续mysql会撑不住, 有合适的大数据处理方案思路吗 [色]
展开
2