Yanjie60195

如果只是为了开发 Kafka 应用程序，或者只是在生产环境使用 Kafka，那么了解 Kafka 的内部工作原理不是必须的。不过，了解 Kafka 的内部工作原理有助于理解 Kafka 的行为，也利用快速诊断问题。下面我们来探讨一下这三个问题 如果感兴趣的话，就请花费你一些时间…

面试是一个很奇怪的过程，都是拧螺丝的。但是问的都是如何造火箭，一个敢问，一个敢答。 面试不可怕，可怕的是你get不到面试官的点。 更可怕的是，你觉得你知道答案，但不是面试官想要的。 最可怕的是，面试官也不知道这题的答案是什么。 前段时间有个小伙伴在一个群里分享了一道亲身经历的面…

感谢阅读「美图数据技术团队」的第 13 篇文章，关注我们持续获取美图最新数据技术动态。 美图收集的日志需要通过 Hiv 程序清洗、规整，并持久化地落地于 HDFS / Hive，便于后续的统一分析处理。 图 1 / 什么是 ETL？ / ETL 即 Extract-Transf…

数据仓库（DW）是一个 面向主题的、集成的、稳定的、随时间变化的数据的集合，以用于支持管理决策过程。 主题是指用户使用数据仓库进行决策时所关心的重点领域。数据仓库通过一个个主题将多个业务系统的数据加载到一起，为了各个主题（如：用户、订单、商品等）进行分析而建，操作型数据库是为了…

Hive起源于Facebook，是基于 Hadoop HDFS 分布式文件系统的分布式 数据仓库 架构。它为数据仓库的管理提供了许多功能：数据ETL（抽取、转换和加载）工具、数据存储管理和大型数据集的查询和分析能力。同时Hive还定义了类SQL的语言（HiveQL）。允许用户进…

Partition tolerance（分区容错性）：可靠性。 很多人以 为 NoSQL 是非 SQL 的意思，其实它是 Not Only SQL 的缩写，意思是不只是 SQL。与关系型数据库正好相反，非关系型数据库 NoSQL 对事务性的要求并不严格，甚至可以说是相当马虎。 …

本文的目的是希望给所有大数据初学者规划一条比较清晰的学习路线，帮助他们开启大数据学习之旅。鉴于大数据领域内的技术绚丽繁复，每位大数据初学者都应该根据自己的实际情况制定专属的学习路径。