Spark学习:Distcp的spark实现

实现DistCp

• • 一、pom.xml
  • 二、执行类,main方法
  • 三、生成jar包

使用Spark实现Hadoop分布式数据传输工具DistCp(distributed copy),只要求实现最基础的copy功能,对于-update、-diff、-p不做要求

一、pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"&