等风等雨不等你

本文旨在为普通程序员（Java程序员最佳）提供一个入门级别的大数据技术学习路径，也是为大数据工程师提供一个进阶的学习机会，不适用于零编程基础的同学。 本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人以前是从事Java后端开发，经过3个月的学习成功转型大数…

群里有知识体系（源码，笔记，学习视频）仅限前100个名额。 而我通常只有一个答案：“这取决于你究竟\想做什么。” 2. 在大数据行业有哪些职业需求？ 在大数据行业中有很多领域。通常来说它们可以被分为两类： 大数据工程涉及大量数据的设计，部署，获取以及维护（保存）。大数据工程师需…

经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件…

数据建模是一门复杂的科学，涉及组织企业的数据以适应业务流程的需求。它需要设计逻辑关系，以便数据可以相互关联，并支持业务。然后将逻辑设计转换成物理模型，该物理模型由存储数据的存储设备、数据库和文件组成。 历史上，企业已经使用像SQL这样的关系数据库技术来开发数据模型，因为它非常适…

要进入Python for Data Science世界，您不需要像自己的孩子那样了解Python。只是基础就足够了。 如果您尚未开始使用Python，我们建议您阅读 Python简介。请务必记下以下主题： 为了配合Python for Data Science，我们建议使用A…

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据，提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行（具体的Hive架构大家自行搜索）。接下来主要讲下Hadoop集群下Hive的安装配置，并搭载Derby数据库（一款小巧的数据库，用于…

(3)reduce处理以及写出操作。 map端的输出、reducer端的数据合并以及reducer的个数这三个方面的调优操作。 也就是说虽然性能调优包括cpu、内存、磁盘io以及网络这四个大方面，但是从mr程序的执行流程中，我们可以知道主要有调优的是内存、磁盘io以及网络。在m…

一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。 。。。。。。 建设敏捷数据仓库，除了对架构技术上的要求之外，还有一个很重要的方面，就是数据建模，如果一上来就想着建立一套能兼容所有数据和业务的数据模型，那就又回到传统数据仓库的建…

在Hadoop 1.0中，HDFS的单NameNode设计带来诸多问题，包括单点故障、内存受限制约集群扩展性和缺乏隔离机制（不同业务使用同一个NameNode导致业务相互影响）等。为了解决这些问题，Hadoop 2.0就引入了基于共享存储的HA解决方案和HDFS Federat…