一直想写一篇大数据计算引擎的综述，但是这个话题有点大。今天试试看能不能一口气写完。大数据计算的起点是Hadoop的MapReduce。之前虽然有一些分布式计算的工具，但是公认的大数据计算引擎的始祖仍然是MapReduce，虽然现在已经逐渐被同是批处理的Spark替代了。如同Map...

「数据管理」：有了数据工具，也有了数据资产，但是还必须对它们进行管理才能让数据产生最大价值并最小化风险，因此数据平台通常还包括数据管理的相关概念和技术，如数据仓库、数据建模、数据质量、数据规范、数据安全和元数据管理等。 上面是对数据平台逻辑范畴上的一个划分，实际上数据平台从数据…

接下来，我会从离线数据处理技术、实时数据处理技术、数据开发优化、大数据建模、数据分层体系建设等角度进行总结学习。 数据是原油，数据是生产资料，数据和技术驱动，人类正从 IT 时代走向 DT 时代，数据的战略性日渐得到认可，越来越多的公司、机构和组织，尤其是互联网公司，纷纷搭建了…