浪法师

由来 Spark 最早源于一篇论文Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster

为啥会写学生成绩管理系统 正所谓人在家中坐，题从天上来。不过还好是一个非常基础的python题目，那就做一做。 项目的流程设计 首先就是项目流程的设计，当然之所以这么搞跟需求是有一定关系的。 初始化数

一、需求 这时在一个项目开发过程中需要展示多级分类的题目。 题目需求：点击如市食药安办时，只显示scoreUser包含市食药安办的题目，点击到其他用户类型时显示其他类型的题目。 题目的数据类型如下 二

什么是数据倾斜？ 这个概念在百度百科中解释为在分布式缓存的集群中，不同节点负责处理一定范围的缓存数据。如果缓存数据分散度不够，导致大量的缓存数据集中到一台或者几台服务节点上，称为数据倾斜。一般来说数据

yarn的组成部分 hadoop是由Common、HDFS、YARN、MapReduce等核心模块组成，yarn负责解决资源调度问题，这里介绍下yarn的业务执行流程。 yarn是Master/Sla

hadoop的构成 hadoop集群主要包含：HDFS集群、MapReduce、YARN集群。HDFS集群复制海量数据的存储，MapReduce负责海量计算，Yarn集群存在数据运算时的资源调度。 h

hive数仓的基本操作-数据库的创建，修改，删除，创建分区，创建分桶等方式的操作步骤，array,map,struct等类型

MapReduce是将一个大的计算任务拆分成一个个小任务，让小任务在不同的计算机中进行处理，最后将任务的结果进行汇总的过程。 MR的工作流程可以分为三个阶段，分别是map、shuffle、reduce

hive数仓的基本操作-数据库的创建，修改，删除，创建分区，创建分桶等方式的操作步骤，array,map,struct等类型