如何有效开展数据治理，打破数据孤岛，充分发挥数据的业务价值，保护数据安全，已成为业界的热门话题。本文基于美团配送数据治理的历程，分享了数据定义、模型设计、数据生产三环节统一的配送数据“底座”的实践。

是相互之间存在一种或多种特定关系的数据元素的集合。 集合结构：集合中的数据元素除了同属一个集合外、它们之间没有其他关系。 算法是解决特定问题的求解步骤的描述。在计算机中表现为指令的有限序列、并且每条指令表示一个或多个操作。 有穷性：指算法执行有限的步骤之后、自动结束而不会出现无…

ElasticSearch作为一个基于Lucene的搜索引擎被广泛应用于各种应用系统，比如电商、新闻类、咨询类网站。在使用ElasticSearch开发应用的过程中，一个非常重要的过程是将数据导入到ElasticSearch索引中建立文档。在一开始系统规模比较小时，我们可以使用…

导读：Apache Druid是一个集时间序列数据库、数据仓库和全文检索系统特点于一体的分析性数据平台。本文将带你简单了解Druid的特性，使用场景，技术特点和架构。这将有助于你选型数据存储方案，深入了解Druid存储，深入了解时间序列存储等。 Druid是为快速查询和快速摄入…

大数据互联网时代下大家耳熟能详的名词,但是我们离大数据有多远呢?从2011Hadoop1.0问世到现在,渐渐地大数据解决方案已经趋向成熟,笔者觉得也是时间来学习接触一下大数据解决一些在工作中实际遇到的

正常流向：ODS>DWD->DWT->DWA->APP，当出现ODS >DWD->DWA->APP这种关系时，说明主题域未覆盖全。应将DWD数据落到DWT中，对于使用频度非常低的表允许DWD->DWA。 尽量避免出现DWA宽表中使用DWD又使用（该DWD所归属主题域）DWT的表…

10月26日，字节跳动技术沙龙 | 大数据架构专场 在上海字节跳动总部圆满结束。我们邀请到字节跳动数据仓库架构负责人-郭俊，Kyligence 大数据研发工程师-陶加涛，字节跳动存储工程师-徐明敏，阿里云高级技术专家-白宸和大家进行分享交流。 以下是字节跳动数据仓库架构负责人-…

内容来源：2018 年 06 月 30 日，Elastic工程师与布道师曾勇在“Elastic Meetup 南京交流会”进行的《Elastic探秘之遗落的珍珠》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。 Elast…

读取LZO文件时，需要先创建索引，才可以进行切片。 Apache：运维麻烦，需要自己调研兼容性。 CDH：国内使用最多，不开源，已开始收费。老版本不再进行组件后续兼容性的更新。 HDP：开源，不稳定，已被CDH收购，合并为CDP。 128G内存，20核物理CPU，40线程，8T…