scala、spark 使用过程中，各种测试用例以及相关资料整理

如何利用相对廉价的机器搭建分布式超大规模机器学习集群是一件非常复杂的事情，对工程和算法都有极高的要求，从Spark到李沐的通用参数服务器，业界对此都进行过哪些尝试？本文尝试梳理一下这方面的历史和当前最佳实践。

在 Hadoop 集群整个生命周期里，由于调整参数、Patch、升级等多种场景需要频繁操作 NameNode 重启，不论采用何种架构，重启期间集群整体存在可用性和可靠性的风险，所以优化 NameNode 重启非常关键。

理解 HDFS 在 Hadoop 体系结构中的角色。 熟练使用 HDFS 操作常用的 Shell 命令。 熟悉 HDFS 操作常用的 Java API。

最近不少同学跃跃欲试，想投入 AI 的怀抱，但苦于不知如何下手。其中，人工智能的核心就是机器学习（Machine Learning），它是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。 我们今天就来分享一篇来自 EliteDataScience 上专门讲给机器学习入…

Spark 是大数据领域中相当火热的计算框架，在大数据分析领域有一统江湖的趋势，网上对于 Spark 源码分析的文章有很多，但是介绍 Spark 如何处理代码分布式执行问题的资料少之又少，这也是我撰写文本的目的。

这是一篇入门文章，Hadoop 的学习方法很多。本文的思路是：以安装部署 Apache Hadoop2.x 版本为主线，来介绍 Hadoop2.x 的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目的。