大数据必知必会系列——面试官问能不能手写一个spark程序？

​

 引言         

 大家好,我是ChinaManor,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,一个平凡而不平庸的人。     

学习大数据差不多一年了，笔者最近在整理大数据学习的笔记资料，这个系列是整理的一些大数据必知必会的知识。  

面试官问：看你简历上写spark一项是熟练程度，能不能给我手写一个spark程序？

我：当然能（不行）

当初写简历时为了不空出太多地方,显得自己小白造的，哪会写什么spark程序？？

有没有办法拯救？有

写最简单的一个spark案例：wordcount

// TODO: 创建SparkContext实例对象，首先构建SparkConf实例，设置应用基本信息 val sc: SparkContext = { // 其一、构建SparkConf对象，设置应用名称和master val sparkConf: SparkConf = new SparkConf() .setAppName("SparkWordCount") .setMaster("local[2]") // 其二、创建SparkContext实例，传递sparkConf对象 new SparkContext(sparkConf) }

	// TODO: 第一步、从HDFS读取文件数据，sc.textFile方法，将数据封装到RDD中
	val inputRDD: RDD[String] = sc.textFile("datas/wordcount.data")
	
	// TODO: 第二步、调用RDD中高阶函数，进行处理转换处理，函数：flapMap、map和reduceByKey
	val resultRDD: RDD[(String, Int)] = inputRDD
		// 按照分隔符分割单词
		.flatMap(line => line.split("\\s+"))
		// 转换单词为二元组，表示每个单词出现一次
		.map(word => word -> 1)
		// 按照单词分组，对组内执进行聚合reduce操作，求和
		.reduceByKey((tmp, item) => tmp + item)
	
	// TODO: 第三步、将最终处理结果RDD保存到HDFS或打印控制台
	resultRDD.saveAsTextFile("datas/spark-wordcount")
	
	// 为了查看应用监控，可以让进程休眠
	Thread.sleep(100000)
	
	// 应用结束，关闭资源
	sc.stop()

短短12行代码。。。

足矣。

总结  

    以上便是spark最经典的程序，也是大数据领域最经典的程序，地位相当于java语言的System.out.println("Hello World");

，愿你读过之后有自己的收获,如果有收获不妨一键三连~我们下期再见👋

​