技术分享

电商行业快速发展，但违规销售问题突出，如假货、虚假宣传等，严重侵害消费者权益。建立有效的电商违规检测系统刻不容缓，有助于保障消费者权益、防范违规行为，促进电商健康发展。

上一篇文章我们说到了：大数据开源舆情分析系统-数据采集技术架构浅析 今天跟大家来聊聊我们舆情系统中的数据处理部分是怎么样的工作机制。 舆情系统的数据处理部分我们定义为：数据工厂。

做这个开源项目我们主要想解决 两个核心问题 ： 互联网网上有用的数据在哪儿？ 怎么样采集有用的数据？

舆情系统 中数据采集是一个关键部分，此部分核心技术虽然由爬虫技术框架构建，但抓取海量的互联网数据绝不是靠一两个爬虫程序能搞定，特别是抓取大量网站的情况下，每天有大量网站的状态和样式发生变化以后。