diameter

一个task处理一小片数据。 Spark在driver 上，对application的每个stage的task分配之前，会先计算出每个task要计算的是哪个分片数据（RDD 上的某个Partition）；Spark分配task的算法，优先希望每个task恰好分配到它所要计算的数…

如果是普通的map，比如一个partition中有1万条数据。ok，那么你的function要执行和计算1万次。 的partition数据。只要执行一次就可以了，性能比较高。如果在map过程中需要频繁创建额外的对象(例如将rdd中的数据通过jdbc写入数据库,map需要为每个元…

hadoop fs：通用的文件系统命令，针对任何系统，比如本地文件、HDFS文件、HFTP文件、S3文件系统等。 hadoop dfs：特定针对HDFS的文件系统的相关操作，但是已经不推荐使用。 hdfs dfs：与hadoop dfs类似，同样是针对HDFS文件系统的操作，替…

如果直接在scala-library中搜索Nothing的话是找不到了，只能发现一个Nothing$的类（后面再说Nothing$和Nothing的关系）。要想看到Nothing.scala的源码需要去github上的scala源码中查找Nothing源码 可以看到在Nothi…

如果直接在scala-library中搜索Nothing的话是找不到了，只能发现一个Nothing$的类（后面再说Nothing$和Nothing的关系）。要想看到Nothing.scala的源码需要去github上的scala源码中查找Nothing源码 可以看到在Nothi…

如果直接在scala-library中搜索Nothing的话是找不到了，只能发现一个Nothing$的类（后面再说Nothing$和Nothing的关系）。要想看到Nothing.scala的源码需要去github上的scala源码中查找Nothing源码 可以看到在Nothi…

以前偶然找到过下图，该图对分类，聚类及其回归表达的很清晰。 ** dimensionality reduction (降维)。** 无监督学习的结果。聚类的结果将产生一组集合，集合中的对象与同集合中的对象彼此相似，与其他集合中的对象相异。 有监督学习的两大应用之一，产生离散的结…

code (-r) -g 文件名:行数(:列数)：在 vscode 中打开该文件并定位到某行某列（常用场景是报错后定位错误位置。eg：code -r -g for.js:40:10） 著作权归作者所有。

澄清一个概念：innodb中，在聚簇索引之上创建的索引称之为辅助索引，辅助索引访问数据总是需要二次查找，非聚簇索引都是辅助索引，像复合索引、前缀索引、唯一索引，辅助索引叶子节点存储的不再是行的物理位置，而是主键值。 聚簇索引默认是主键，如果表中没有定义主键，InnoDB 会选择…