EddieJ

上一章讲了 Spark 提交作业的过程，这一章我们要讲 RDD。简单的讲，RDD 就是 Spark 的 input，知道 input 是啥吧，就是输入的数据。 1、有一个分片列表。就是能被切分，和 hadoop 一样的，能够切分的数据才能并行计算。 2、有一个函数计算每一个分片…

折腾了很久，终于开始学习 Spark 的源码了，第一篇我打算讲一下 Spark 作业的提交过程。 这个是 Spark 的 App 运行图，它通过一个 Driver 来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个 Driver Program 的过程。 我们先看一下…

软件开发者都知道 10 进制、16 进制、8 进制。 比如数字 10 的各位进制形式表现如下。 我们可以打开系统的自带的计算器 (Win 键 + R –> 输入 CMD 打开命令行窗口 –> calc 按回车)，看看上面的结论。 虽然有很多种进制，但是实际上计算机所认识的数据只…

查找和排序算法是算法的入门知识，其经典思想可以用于很多算法当中。因为其实现代码较短，应用较常见。所以在面试中经常会问到排序算法及其相关的问题。但万变不离其宗，只要熟悉了思想，灵活运用也不是难事。一般在面试中最常考的是快速排序和归并排序，并且经常有面试官要求现场写出这两种排序的代…

本教程介绍如何在 Markdown 中书写数学公式。 在 Markdown 中插入数学公式的语法是$数学公式$和?数学公式?。 行内公式是可以让公式在文中与文字或其他东西混编，不独占一行。 独立公式使公式单独占一行，不与文中其他文字等混编。 普通的加减乘除数学公式的输入方法…

动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。 基本思想与分治法类似，也是将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段，前一子问题的解，为后一子问题的…

进入以下注册表项HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Terminal Server\Wds\rdpwd\Tds\tcp，在右侧找到PortNamber，可以看见其默认值是3389，修改成所希望的端口(2000-…

Earth Mover's Distance距离即EMD，是由2000年IJCV期刊文章《The Earth Mover's Distance as a Metric for Image Retrieval》提出的一种图像相似度度量方法，从文章标题也可以得知，最初EMD的概念是…

下面，我们从 DFSOutputStream 类开始，说明其内部实现原理。 打开一个 DFSOutputStream 流，Client 会写数据到流内部的一个缓冲区中，然后数据被分解成多个 Packet，每个 Packet 大小为 64k 字节，每个 Packet 又由一组 c…