图解大数据技术 ◉ 全生态知识宝库

本篇内容是ShowMeAI组织的「图解大数据处理与开发」系列教程入口，本教程以大数据技术为根基，给大家讲解大数据开发与数据处理分析的相关知识与技能，并配以相关的实战案例帮助大家学习理解。

随着互联网高速发展，网络数据呈现出指数级别的快速增长，针对海量数据处理的大数据解决方案应运而生。ShowMeAI将在接下来的内容中逐步展开讲解大数据生态工具的应用，以及大数据的处理分析挖掘方法。

Hadoop是最基础和场景的开源分布式计算平台，ShowMeAI在本节内容中给大家讲解Hadoop相关知识。

本教程详细讲解Hadoop的安装与环境配置方法，并配有相关软件的下载方法。需要主义的是，本教程的工作环境为Linux系统。

Hadoop使用一套Map-Reduce的计算框架，解决了大数据处理的难题。本教程ShowMeAI通过几个实例和代码，详细给大家讲解Hadoop使用Map-Reduce进行数据统计的方法。

Hive是大数据离线计算的关键组件，常用于数仓建设。本节ShowMeAI来详细讲解Hive的搭建和配置及使用方法。

HBase是建立在Hadoop文件系统之上的、分布式面向列的数据库。Hive是基于Hadoop的一个数据仓库工具，用于结构化数据的查询、分析和汇总。

Apache Spark是目前最主流和常用的分布式开源处理系统，支持跨多个工作负载重用代码—批处理、交互式查询、实时分析、机器学习和图形处理等。本节ShowMeAI给大家讲解它的相关知识。

RDD(弹性分布式数据集合)是Spark的基本数据结构，Spark中的所有数据都是通过RDD的形式进行组织。本文讲解RDD的属性、创建方式、广播与累加器等重要知识点，并图解RDD高频算子。

DataFrame是一个以命名列方式组织的分布式数据集。本文详细讲解 Spark Dataframe的创建方式，Agg、Collect、Groupby等核心操作，以及Spark SQL操作核心要点。

2020以来新冠疫情改变了全世界，影响着大家的生活，本案例结合大数据分析技术，使用pyspark对2020年美国新冠肺炎疫情进行数据分析，并结合可视化方法进行结果呈现。

电商与新零售是目前大数据与AI应用最广泛的场景之一，本案例以跨国在线零售业务为背景，讲解使用pyspark对HDFS存储的数据进行交易数据分析的过程，并且对分析结果使用echarts做了可视化呈现。

文娱影音是目前大数据与AI应用最广泛的场景之一，本案例以音乐专辑发行数据为背景，讲解使用pyspark对HDFS存储的数据进行处理数据分析的过程，并且对分析结果做了可视化呈现。

Spark Streaming是Spark核心API的扩展，实现实时数据的可拓展、高吞吐量。本文讲解其架构、作业提交和工作原理，以及DStream的创建、转换和Graph，并通过案例代码展示应用细节。

本文介绍Spark中用于大数据机器学习的板块MLlib/ML，讲解机器学习工作流(Pipeline)及其构建方式，并详解讲解基于DataFrame的Spark ML特征工程，包括二值化、标准化等。

本文介绍Spark中用于大数据机器学习的板块MLlib/ML，讲解分类算法、回归算法、聚类算法和PCA降维算法的代码实践，并讲解超参数调优和交叉验证、训练集验证集切分等重要知识点。

GraphFrames库构建在DataFrame之上，具备DataFrame强大的性能，也提供了统一的图处理API。本文讲解GraphFrames的构建使用，包括query与数据分析、图中点与边的计算