Maven配置文件

一、Maven项目pom配置

 <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.4</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-core -->
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.11.0</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>
        </plugins>
    </build>

二、代码实现

public class HdfsCilent {

FileSystem fs = null;

@Before
public void init() throws URISyntaxException, IOException, InterruptedException {
    /**
     * Configuration参数对象的机制：
     *    构造时，会加载jar包中的默认配置 xx-default.xml
     *    再加载 用户配置xx-site.xml  ，覆盖掉默认参数
     *    构造完成之后，还可以conf.set("p","v")，会再次覆盖用户配置文件中的参数值
     */
    // new Configuration()会从项目的classpath中加载core-default.xml hdfs-default.xml core-site.xml hdfs-site.xml等文件
    Configuration conf = new Configuration();

    // 指定本客户端上传文件到hdfs时需要保存的副本数为：2
    conf.set("dfs.replication", "2");
    // 指定本客户端上传文件到hdfs时切块的规格大小：64M
    conf.set("dfs.blocksize", "64m");

    // 构造一个访问指定HDFS系统的客户端对象: 参数1:——HDFS系统的URI，参数2：——客户端要特别指定的参数，参数3：客户端的身份（用户名）
     fs = FileSystem.get(new URI("hdfs://192.168.33.101:9000/"), conf, "root");

}


/**
 * 从HDFS中下载文件到客户端本地磁盘，【需要在Linux系统中输入hadoop fs -put  文件  /文件地址】
 * @throws IOException
 * @throws IllegalArgumentException
 */
@Test
public void testGet() throws IllegalArgumentException, IOException{

    fs.【copyToLocalFile】(new Path("/tess.sh"), new Path("f:/"));
    fs.close();

}


/**
 * 在hdfs内部移动文件\修改名称
 */
@Test
public void testRename() throws Exception{

    fs.【rename】(new Path("/tess.sh"), new Path("/bbb"));

    fs.close();

}

/**
 * 在hdfs中创建文件夹
 */
@Test
public void testMkdir() throws Exception{

    fs.【mkdirs】(new Path("/xx/yy/zz"));

    fs.close();
}


/**
 * 在hdfs中删除文件或文件夹
 */
@Test
public void testRm() throws Exception{

    fs.d【delete】(new Path("/bbb"), true);

    fs.close();
}



/**
 * 查询hdfs指定目录下的文件信息
 */
@Test
public void testLs() throws Exception{
    // 只查询文件的信息,不返回文件夹的信息
    RemoteIterator<LocatedFileStatus> iter = fs.listFiles(new Path("/"), true);

    while(iter.hasNext()){
        LocatedFileStatus status = iter.next();
        System.out.println("文件全路径："+status.getPath());
        System.out.println("块大小："+status.getBlockSize());
        System.out.println("文件长度："+status.getLen());
        System.out.println("副本数量："+status.getReplication());
        System.out.println("块信息："+Arrays.toString(status.getBlockLocations()));

        System.out.println("--------------------------------");
    }
    fs.close();
}

/**
 * 查询hdfs指定目录下的文件和文件夹信息
 */
@Test
public void testLs2() throws Exception{
    FileStatus[] listStatus = fs.listStatus(new Path("/"));

    for(FileStatus status:listStatus){
        System.out.println("文件全路径："+status.getPath());
        System.out.println(status.isDirectory()?"这是文件夹":"这是文件");
        System.out.println("块大小："+status.getBlockSize());
        System.out.println("文件长度："+status.getLen());
        System.out.println("副本数量："+status.getReplication());

        System.out.println("--------------------------------");
    }
    fs.close();
}