user6869415006039

之前我们简单介绍了Spark框架，由此我们知道Spark的生态组件主要有以下几种：Spark Core、 Spark SQL、Spark Structured Stream...

Spark之所以出现Shuffle，主要是因为具有某种共同特征的一类数据需要最终汇聚到一个计算节点上进行计算。这些数据分布在各个存储节点上，并且由不用的计算单元进行处理。...

MapReduce框架原理 （1）MrAppMaster： 负责整个程序的过程调度及状态协调； （2）MapTask： 负责Map阶段的数据处理流程，...

ClickHouse 全称是 Click Stream，Data WareHouse，是俄罗斯的 Yandex 于 2016 年开源的 列式存储数据库（DBMS），主要用于...

之前我们说过，Zookeeper是一个开源的、分布式的并为分布式应用提供协调服务的Apache项目。它是一个基于观察者模式设计的分布式服务管理框架，负责存储和管理数据。...

Redis 是一个开源的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。这篇文章我们主要讲述一下NoSQL数据库的概念以及Redis的基础知识。...

随着数据量越来越大，在一个操作系统中存不下所有的数据，所以我们想到了分布式文件存储系统。而这其中又以HDFS尤其流行，所以本文阐述了HDFS的产生背景、优缺点以及组成架构。...

大家好，我是一名研二学生，参加这个活动，希望自己可以通过打卡按时完成任务，不拖沓不懒惰，希望可以互相监督，共同进步。 目标【100天】 养成自律的习惯，平衡好实验室项目与自...

论文的创新点在于抛弃了之前传统的 encoder-decoder模型 必须结合 CNN 或 RNN 的固有模式，只用 attention，提出了一种新的网络架构Transf...

论文中提出了DSC-Nets网络架构，使用AE将输入数据非线性的映射到潜在空间。关键的处理方式是在编码器和解码器中间添加了一个 self-expressive layer，...

Transformation转换算子在SparkCore中也是比较重要的概念，也是面试的重点。它又分为 单Value类型、双Value类型、Key-Value类型，本篇文章...

- yarn-client: Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。 - yarn-cluster: Driver程序运行在由AM中...

我们主要说一下Key-Value类型算子，我们按其功能分为两部分去讲，这篇文章说一下聚合算子--reduceByKey、foldByKey、aggregateByKey、c...

在神经网络中，我们在每一层线性变换后叠加一个非线性激活函数，以避免多层网络等效于单层线性函数，从而获得更大的学习与拟合能力，以此来解决复杂的非线性问题。...

在梯度下降法中， 随着算法反向的反馈， 梯度会越来越小，最终归零没有变化，但此时并没有收敛到比较好的解，这就是梯度消失的问题。...

因为Transformation转换算子都是懒加载，并不会立即执行，只有遇到行动算子才会触发整个作业的执行。Action行动算子大体上可以分为 聚合算子、统计key数算子、...

这篇文章我们讲一下行动算子中用的比较多的 返回数据相关的算子（collect()）以及遍历算子（foreach()）...

RDD持久化有两种方式： 一是使用Cache缓存，二是设置CheckPoint检查点。RDD通过Cache方法 将前面的计算结果缓存；检查点Checkpoint会将RDD中...

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第23天，点击查看活动详情 论文地址：Deep Residual Learning for Image...

HashPartitioner分区的原理: *对于给定的key，计算其hashCode，并除以分区的个数取余*。如果余数小于0，则用余数+分区的个数（否则加0），最后返回的...