怀瑾握瑜的嘉与嘉

「这是我参与11月更文挑战的第14天，活动详情查看：2021最后一次更文挑战」 1. 起因 刚接触大数据的时候，第一个接手的项目，好家伙，上来就打成一个zip包，200多M，每次打包需要等半天，每次提

「这是我参与11月更文挑战的第13天，活动详情查看：2021最后一次更文挑战」 1. 起因 在我们接收到数据的时候，通常都需要etl处理一下，但原始数据最好也是入库保存一下最好，这样一份数据，我们就使

「这是我参与11月更文挑战的第12天，活动详情查看：2021最后一次更文挑战」 1. 起因 平时写sql语句的时候经常会有大表与小标做关联查询，然后再进行group by等逻辑分组处理，或者是有很多判

「这是我参与11月更文挑战的第11天，活动详情查看：2021最后一次更文挑战」 1. 起因 日常大数据的处理，常见的数据输出就是最大最小值，求个和，求个平均数这种，常见的写法，写个hql，先分个组，在

「这是我参与11月更文挑战的第10天，活动详情查看：2021最后一次更文挑战」 经常我们提交任务到 yarn上后出现 内存溢出的错误 类似 这个错误总会使你的job夭折。它的意思是：因为超出内存限制，

「这是我参与11月更文挑战的第9天，活动详情查看：2021最后一次更文挑战」 我们学习hadoop的时候，为了让我们不太会java语言但是对SQL很熟悉的工程师能够操作基本的mapreduce计算过程

java.lang.ArithmeticException: Non-terminating decimal expansion; no exact representable decimal res

今天使用spark对一组大数据进行合并作join操作，一直都报下面的错： 问题来分析说是内存溢出了，也就是说明广播内存不够用。但我不断设整任务的内存资源，无论是executor还是driver的内存都

「这是我参与11月更文挑战的第8天，活动详情查看：2021最后一次更文挑战」 1. 创建表的时候从其他表直接导入 该方法是创建新表的同时，直接读取旧表的字段和数据，常见的应用场景就是快速抽取数据做测试