分区器
2篇文章 · 0订阅
  • 布隆过滤器（Bloom Filter）
    一种高效的匹配算法，用于判断某值是否存在。 对需要处理的值进行每个hash函数的计算，得到k个结果，每个结果对应bit数组中的一个bit位，分别将对应的bit位结果置1。 随着插入的值越来越多，被置为1的bit位就越多，这是可能会存在一个值A，进行k个hash函数得到的结果在…
    算法
  • Hive 和 Spark 分区策略剖析
    随着技术的不断发展，大数据领域对于海量数据存储和处理的技术框架越来越多。在离线数据处理生态系统最具代表性的分布式处理引擎当属Hive和Spark，它们在分区策略方面有着一些相似之处，但也存在不同之处。
    Apache Hive Spark 数据库