想做个好程序员

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第21天，点击查看活动详情 物流项目问题 1、物流项目的背景介绍 项目背景:本项目基于一家大型物流公司研...

1. 原始数据实时ETL落地HBase 存储hive数据用作离线分析经过ETL后的原始数据；存储hbase数据用作实时指标分析经过ETL后的原始数据 一份数据作为备份：即可...

1. 纬度建模基本概念 维度模型是数据仓库领域大师Ralph Kimall所倡导，它的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出...

一千个读者眼中有一千个哈姆雷特，一千名 大数据 程序员心目中就有一千套 大数据面试题。本文就是笔者认为可以用来面试大数据 程序员的面试题。 这套题的题目跟公司和业务都没有关...

一、Spark中coalesce和repartiton的区别 repartition对数据进行完全洗牌，创建新的数据分区，这些分区的数据量是均衡分布的。 repartiti...

一般而言，分布式数据集的容错性具备两种方式：数据检查点和记录数据的更新 checkpoint机制——数据检查点 记录更新机制（在Saprk中对应Lineage机制） che...

执行UDF 输出结果 UDF和UDAF的区别 UDF(User Defined Functions) 是普通的不会产生 Shuffle 不会划分新的阶段的用户自定义函数，U...

Spark 算子大致可以分为以下三类: 1、map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应...

在Spark中创建RDD的创建方式可以分为三种：从集合中创建RDD、从外部存储创建RDD、从其他RDD创建。...

上一篇权当吹水了，从这篇开始进入正题。 RDD（Resilient Distributed Dataset）叫做 弹性分布式数据集 ，是Spark中最基本的数据抽象，它代表...

1.ssh远程连接的问题？ 第一种是远程连接慢的问题： (1)可以通过ssh -v 来检测哪个步骤出现的问题。根据对应的问题，来针对性的进行解决。 (2)可能是DNS反向解...