王知无

正所谓，无招胜有招。 愿读到这篇文章的技术人早日明白并且脱离技术本身，早登彼岸。 一切技术最终只是雕虫小技。 本系列主题是大数据开发面试指南，旨在为大家提供一个大数据学习的基本路线，完善数据开发的技术栈，以及我们面试一个大数据开发岗位的时候，哪些东西是重点考察的，这些公司更希望…

时间飞逝，到今天为止，2019年就过半了。 《大数据技术与架构》创立4个月，都是业余时间原创或者筛选优质文章。回想起来，无数次的深夜整理文稿，周末大部分时间也用在了整理和输出高质量文章上。除了大促值班，从来没有感觉到这么累过... 在此对《大数据技术与架构》过去半年里发表过的文…

时间飞逝，到今天为止，2019年就过半了。 《大数据技术与架构》创立4个月，都是业余时间原创或者筛选优质文章。回想起来，无数次的深夜整理文稿，周末大部分时间也用在了整理和输出高质量文章上。除了大促值班，从来没有感觉到这么累过... 在此对《大数据技术与架构》过去半年里发表过的文…

先放结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。 Hbase： Hadoop database 的简称，也就是基于Hadoop数据库，是一种NoSQL数据库，主要适用于海量明细数据…

为什么会产生YRAN？这个与MapReduce1.x的架构有关，正是因为MapReduce1.x存在许多的问题，才会产生 YARN。 Hadoop1.x时，MapReduce的架构仍然是主从架构。一个JobTracker带多个TaskTracker，主节点为JobTracker…

优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。 缺点：不支持split。 应用场景：当每个文件压缩之后在130M以内的（…

它可以指定你希望对集合的操作，但是执行操作的时间交给具体实现来决定。 这里的Stream和IO中的Stream不同，它提供了对集合操作的增强，极大的提高了操作集合对象的便利性。 当我们点菜的时候需要按照距离、价格、销量等进行排序后筛选出自己满意的菜品。 你可能想选择距离自己最近…

大数据技术主要要解决的问题的是大规模数据的计算处理问题，那么首先要解决的就是大规模数据的存储问题。大规模数据存储要解决的核心问题有三个方面： 数据存储容量的问题，既然大数据要解决的是数以PB计的数据计算问题，而一般的服务器磁盘容量通常1-2TB，那么如何存储这么大规模的数据。 …