Zouxxyy

希望创作者多改改把，不然只能用来当图床和记事本了。可是记事本没分类用起来很不爽。...

类似传统数据库的二维表格，除了数据以外，还记录数据的结构信息，即schema。也就是普通RDD添加结构化信息得到。 强类型的，存储的是对象。由DataFrame添加类属性得...

由于还没学shuffle，所以从宏观简单思考。学一个东西不能死记硬背，最好的理解就是：问问自己为啥要分窄依赖和宽依赖？ 例1：用map时，一个分区里的数据经过函数，形成新的...

主要流程和Yarn的流程一样，不同的就是紫色部分。这里采用的是spark的yarn-cluster模式，driver在APPMaster中。 ResourceManager...

Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。 Client向RM申请一个作业id。 RM给Client返回该job...

客户端调用DS模块向NameNode请求上传文件。 假设文件为200M，客户端请求上传第一个 Block ，希望得到DataNode服务器位置。 NameNode返回3个D...

1. 待处理文本 这里假设是/user/input目录下的ss.txt 文件，大小为200M。 2. 客户端submit（） 3. 提交信息 将刚刚获取的任务规划信息，提交...

1. Java和Hadoop安装 环境变量设置好，我是mac所以javahome是$(/usr/libexec/java_home);我是zsh所以修改.zshrc，修改完...

&用法：指令&说明：将指令放入后台执行，会将输出打印到前台，当执行该指令的终端gg时，它也gg终止方法：jobs查看它->fg%num取出它->Ctrl+c终止它直接退出终...

可以远程用浏览器看服务器的文件目录，以及各种jupyter的好处：直接改代码，调试，它内嵌的读图也是特别舒服。 我是给服务器装了anaconda，然后就自带了jupyter...

anaconda 确实很好用，切换python版本也方便。而且如果服务器用的人多，用anaconda搞个自己的环境很舒服。 官网选择要下载的版本。我用的是python3.7...

在活动线程中，只有栈顶的栈时有效的，称为当前栈帧，与这个栈帧相关联的方法称为当前方法。下面对栈帧的4个主要部分进行分析。 最小存储单元(Slot)，一个Slot可以存32位...

类加载后要初始化。所以可以通过判断啥时候要初始化，得出类加载的时机。 new实例化对象、读取或设置静态字段（被final修饰放入常量池时除外）、调用类的静态方法 （且类没有...

与jmap配合使用，也就是分析堆存转储快照（heapdump文件）。 书上说它很强大，我还没下载成功。它几乎集成里上面的所有功能啊。...

给对象添加一个引用计数器，每当有个对象引用它时，计数器加1；引用失效时计数器减1；为0时对象不可能被再引用。 看作为GC Roots的对象作为起始点，和它连通的是可用的，反...

一块较小的内存，是当前线程（线程私有）执行的字节码的行号指示器。 每个方法调用至完成，对应一个栈帧在虚拟机栈中入栈到出栈的过程。 局部变量表所需的内存空间在编译期完成，该空...

常量池有两种情况：引用（指针） 或 常量。如果该位置已经是引用或常量了，之后的操作都不会改变里面的情况！！！ 调用intern()（jdk1.8）: 如果常量池里是空的，就...

1. 缩写功能 2. 创建新函数 3. 加 surround，如if、catch...

schedule(TimerTask task, Date time) 在指定的日期执行某一次任务。 多次调用schedule或scheduleAtFixedRate执行多...