巴拉巴拉朵

采坑记 Memory is not enough for task serialization: java.lang.OutOfMemoryError 背景：一个每天跑的Spark程序突然出现Memo

Spark效率优化 Join相关 spark conf 中加入一些参数，会加速shuffle过程，这里根据数据量实际大小可以调节下面一些参数，实践中会对于大数据量JOIN能加速20%以上 spark.

ESMM模型笔记 背景 ESMM模型是阿里算法团队关于CVR预估提出的新模型，思路很新颖，对于CVR预估有很强的参考意义。而且里面的多个目标其实可以根据实际业务进行替换，可以快速尝试应用，想象力空间很

scala做embedding的average操作 使用 breeze.linalg 来对embedding向量处理 breeze.linalg 库可以对矩阵向量做很多操作，普通的加减乘除，点乘叉乘，

Spark的Word2Vec示例 这里演示Spark的ml包里面Word2Vec的训练与加载过程；使用spark实现经典的word2vec

scala操作Hadoop Api改变目录权限成777及写入单个hdfs文件 Hadoop 2.7.0支持修改目录的权限，可以修改成任意权限。这个问题的背景是，如果是某个人生成了一个hdfs路径，同一

Spark DataFrame sql函数总结 Spark DataFrame内置了200+个函数供使用，包括聚合、集合、时间、字符串、数学、排序、窗口、UDF等多类函数，是个十分齐全的百宝箱，灵活运

Spark批量读写Redis 需要新加入Redis的依赖 连接客户端 首先需要拿到Redis的客户端，Redis的客户端需要知道你的用户名和密码、ip地址和端口号，知道就可以连上Redis了 批量删除

Python实现均匀拆分大文件 对于大文件业务中有时候需要进行均匀拆分后分别进行处理，这里用python实现了均匀拆分，设定拆分的目标文件数量，输入路径（必须是一个目录），会自动进行拆分