user4665733593458

Kryo序列化 Kryo序列化比Java序列化更快更紧凑，但Spark默认的序列化是Java序列化并不是Spark序列化，因为Spark并不支持所有序列化类型，而且每次使用都必须进行注册。注册只针对于

Spark解决什么问题 二 Spark为什么会有自己的资源调度器 三 Spark运行模式 四 Spark常用端口号 五 Spark提交作业参数 六 Spark的transformation算子

每执行一次 insert 时hive中至少产生一个文件，因为 insert 导入时至少会有一个MapTask。 像有的业务需要每10分钟就要把数据同步到 hive 中，这样产生的文件就会很多。 对 hive 来说，在进行查询时，每个小文件都会当成一个块，启动一个Map任务来完成…

新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。 2021大数据领域优质创作博客，带你从入门到精通，该博客每天更新，逐渐完善大数据各个知识体系的文章，帮助大家更高效学习。CREATE TABLE test_sql.INSERT INTO TABLE test_sql.t...

上一篇文章介绍了3道常见的SQL笔试题，反响还算是不错。于是乎，接下来的几天，菌哥将每天为大家分享一些关于大数据面试的杀招，祝小伙伴们都能早日找到合适的工作~ 面试官往往一上来就一个“灵魂三连问”，很多没有提前准备好的小伙伴基本回答得都磕磕绊绊，效果不是很好。下面贴出菌哥的回答…