BIT_666

主要实现方法为 Python，Java，C++，下面使用 scala 分别实现，并推导 N 数之和实现方法。

​Redis 列表 List 是简单的字符串列表，按照插入顺序排序，一个列表最多可以包含 232 - 1 个元素 (4294967295, 每个列表超过40亿个元素)。

本文主要探索 RangePartitioner 源码中 rangeBounds 的生成，rangeBounds 用于对 key 进行范围分区，通过源码可以学习到如何在分布式大数据下采样并获取近似均分区

查看 RangePartition 的源码时发现内部用到了 PartitionPruningRDD，翻译为分区修剪 RDD，下面简单介绍一下 PartitionPruningRDD 的使用。

读文件时出现 java.lang.IllegalArgumentException: Illegal pattern component: XXX 报错

使用 linux 工作中经常遇到 zip，gz，tar 相关的压缩文件，下面整理下几种压缩文件的常用方法。

本地使用 spark paralize 数组 rdd 时需要构造一个随机数组，分别使用 java.util 和 scala.util 实现，下面记录下不同的 shuffle 方法以及踩到的坑。

spark 处理 RDD 时提供了 foreachPartition 和 mapPartition 的方法对 partition 进行处理。

​  一.引言 使用 spark 读取 parquet 文件，共有 M 个 parquet 文件，于是启动了 P Executor x Q Cores 进行如下 WordCount 代码测试。