数据湖这一概念，最早是在2011年由CITO Research网站的CTO和作家Dan Woods首次提出。其比喻是：如果我们把数据比作大自然的水，那么各个江川河流的水未经加工，源源不断地汇聚到数据湖中。业界便对数据湖一直有着广泛而不同的理解和定义。“数据湖是一个集中化存储海量…

以mysql为例子. 分为三个部分： canal server：负责从mysql中抽取增量日志。 mysql-extractor storm程序：负责将增量日志输出到kafka中，过滤不需要的表数据，保证at least one和高可用。 我们知道，虽然mysql innodb…

在解决你是否需要数据中台这个问题之前，让我们先理理它究竟是什么。 它是工具？是方法？还是组织架构？我的回答是：都不仅仅是。 数据中台包括平台、工具、数据、组织、流程、规范等一切与企业数据资产如何用起来所相关的。 企业所属行业不同，经营策略不同，从而数据场景也千差万别。再加上企业…

滴滴独有的出行场景大数据在金融领域有着非常广泛的应用前景，未来可与银行，保险，支付和理财等机构深入合作，帮助传统金融机构提升资源配置效率，降低获客和风险管理成本。出行场景大数据在交易欺诈识别、风险定价、精准营销、全生命周期风险管理、增长运营等方面都有着重要商业价值。对于大数据的…

导读：随着“中台”战略的提出，目前宜信中台建设在思想理念及架构设计上都已经取得了很多成果。宜信是如何借助中台化的思想打造“AI中台”及相关的智能产品呢？本次直播，宜信科技中心AI中台团队负责人王东老师分享了宜信AI中台的具体实施路径，并重点介绍了AI中台的智能产品——智能聊天机…

原本地址：基于 Scala 的产品开发实践博客地址：http://zhangyi.farbox.com/ 我们的产品架构 整体架构 我们的产品代号为 Mort（这个代号来自电影《马达加斯加》那只萌萌的大眼猴），是基于大数据平台的商业智能（BI）产品。产品架构如下所示： 我们选择了 Sp…

随着数据时代的到来，数据量和数据复杂度的增加推动了数据工程领域的快速发展。为了满足各类数据获取/计算等需求，业内涌现出了诸多解决方案。但大部分方案都遵循以下原则： 宜人贷的数据服务平台也是遵循这三个原则。本人有幸亲身经历了宜人贷数据平台Genie的整个发展过程，纵观宜人贷和业内…

2.2. 安装InfluxDB 执行start.sh一键启动dbus所有服务，启动项比较多。