当前这个数据时代，各领域各业务场景时时刻刻都有大量的数据产生，如何理解大数据，对这些数据进行有效的处理成为很多企业和研究机构所面临的问题。本文将从大数据的基础特性开始，进而解释分而治之的处理思想，最后介绍一些流行的大数据技术和组件，读者能够通过本文了解大数据的概念、处理方法和流…

仅批处理框架 Hadoop常用于离线的复杂的大数据处理 仅流处理框架 Samza与和Kafka紧密集成的流处理 Storm常用于在线的实时的大数据处理。 混合框架 Spark常用于离线的快速的大数据处

大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平台。但…

一、前言 笔者曾效力于新浪广告DMP组，跑过MapReduce，也写过Storm、Spark Streaming、Hive；也曾作为阿里巴巴回血红包的技术负责人，使用Blink扛住双十一80万QPS流

​简介： 本文翻译自大数据技术公司 Databricks 针对数据湖 Delta Lake 的系列技术文章。众所周知，Databricks 主导着开源大数据社区 Apache Spark、Delta