本文已参与「新人创作礼」活动，一起开启掘金创作之路。
数据倾斜的问题优先从数据源解决，以下方法是辅助缓解：
（1）spark-sql任务，可以尝试distribute by () 某个字段或者可以确定唯一维度值（某几个联合字段）
（2）参考文档调优
（3）数据倾斜的定位方法：
选取key，对数据进行抽样，统计出现的次数，根据出现次数大小排序取出前几个 spark-shell获取数据不均衡的数据
scala>val conf=new SparkConf().setAppName("SparkHive").setMaster("local") //可忽略，已经自动创建了
scala>val sc=new SparkContext(conf) //可忽略，已经自动创建了
scala>val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
scala>sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ")//这里需要注意数据的间隔符
scala>sqlContext.sql("LOAD DATA INPATH '/user/spark/src.txt' INTO TABLE src ");
scala>val df=sqlContext.sql("SELECT id,name,price FROM db02.t1")
scala>val rdd=sc.makeRDD(Array('a','b','c','a','a'))
scala>val df1=rdd.toDF("name") //rdd转为dataframe
scala>df.select("price").sample(false,0.1).map(x=>(x.toString,1)).rdd.reduceByKey(_+_).map(x=>(x._2,x._1)).sortByKey(false).take(10)
经过分析，倾斜的数据主要有以下三种情况:
- null（空值）或是一些无意义的信息()之类的,大多是这个原因引起。
- 无效数据，大量重复的测试数据或是对结果影响不大的有效数据。
- 有效数据，业务导致的正常数据分布。
（4）解决办法
第1，2种情况，直接对数据进行过滤即可。 第3种情况则需要进行一些特殊操作，常见的有以下几种做法。 隔离执行，将异常的key过滤出来单独处理，最后与正常数据的处理结果进行union操作。 对key先添加随机值，进行操作后，去掉随机值，再进行一次操作。
