云祁

一、概述二、shuffle的定义三、ShuffleManager发展概述四、HashShuffleManager的运行原理4.1　未经优化的HashShuffleManag...

有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保...

在大数据计算领域，Spark 已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark 的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计...

1. 复制层（SSA,system-of-records-staging-area） SSA 直接复制源系统(比如从mysql中读取所有数据导入到hive中的同结构表中，不...

1. 2. 3. 4. 5. 1. 2. 3. 数据模型可能采用反范式设计，合并信息等。4. 5. 干货：解码OneData，阿里的数仓之路。...

写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句 [ 云之祁祁，或雨于渊 ] ，甚是喜欢。 写博客一方面是对自己学习的一点点总结及记录，...

写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句 [ 云之祁祁，或雨于渊 ] ，甚是喜欢。 写博客一方面是对自己学习的一点点总结及记录，...

Azkaban Web 服务器：azkaban-web-server-2.5.0.tar.Azkaban Excutor 执行服务器：azkaban-executor-se...

　　5、 需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。特性HamakeOozieAzkabanCascading工作流描述语言XMLXML (xPDL b...

到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem。0.1．创建 flume-file-fl...

命令：wget -b http://mirror.bit.edu.cn/apache/nifi/1.8.0/nifi-1.8.0-bin.tar.命令：tar -zxvf ...

Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统，用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑...

一、前言二、项目准备2.1 添加Kafka的pom依赖2.2 启动zookeeper集群2.3 启动kafka集群2.4 创建topic2.三、KafkaUtils.cre...

一、前言二、“埋点”知多少三、“埋点”有何用四、几种埋点“姿势”4.1 前端埋点4.1.1 代码埋点4.1.2 可视化埋点4.1.4.2 后端埋点4.五、最理想的埋点方式？...

一、协同过滤1.1 概念1.二、矩阵分解2.1 显式矩阵分解2.2 隐式矩阵分解（关联因子分确定，可能随时会变化）2.1.协同过滤是一种借助"集体计算"的途径。它利用大量已...

底层基础：包括Spark的运行库、矩阵库和向量库；算法库：包含广义线性模型、推荐系统、聚类、决策树和评估的算法；实用程序：包括测试数据的生成、外部数据的读入等功能。底层基础...

Spark MLlib是Spark对常用的机器学习算法的实现库，同时包括相关的测试和数据生成器。...

大数据学习过程中一个重要的环节就是spark，但是在spark中有很多的知识点，很多人都傻傻分不清楚，其中，最易搞混的就是ml与mllib的区别，所以我们不妨来详细的了解一...

MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB 旨在为WEB应用提供可...

一、前言二、数据仓库的定义三、数据仓库的特点四、数据仓库的作用五、数据仓库的架构六、数据仓库的要求七 、数据仓库分层八、数据仓库四个层次的划分8.1 ODS层8.2 PDW...