怀瑾握瑜的嘉与嘉

protocol buffers 是一种语言无关、平台无关、可扩展的序列化结构数据的方法，它可用于（数据）通信协议、数据存储等。

广播变量允许程序员在每台计算机上缓存只读变量，而不是将其副本与任务一起发送。例如，它们可以为每个节点提供一个大数据集的副本，而不用给每个 task 来传送一个副本。

在后期的Spark版本中，DataSet有可能会逐步取代RDD和DataFrame成为唯一的API接口。

数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。

Flume的机制决定Flume更多是用离线数据落盘的场景中，作为数据落地的第一步，说是咽喉毫不为过。而Flume的配置，也决定你收集到的数据的格式、类型、大小等等。

Hive中对中间数据或最终数据都会做压缩处理，Snappy因为解压缩速度很快，并且可以进行分隔，是大数据存储中最常用的压缩方式

hive说：我已经变了，你看人家presto就懂我，可以直接读我的信息;spark说：你不说，我怎么知道啊，我只读我的缓存里的，既然没有，就只能从头开始调查了

一帆风顺年年好，万事如意步步高，祝大家新年万事如意。下面请您欣赏，童年第一首环绕立体式接红包BGM-新年好~

「时光不负，创作不停，本文正在参加2021年终总结征文大赛」 前尘 今年的3月以前，我是一名JAVA后台开发人员，做了10来年的开发，不懂架构，不懂设计模式，没看过源码，其实感觉挺失败的。对未来是仿徨