1 客户端环境准备

1.1. 下载Windows依赖文件夹

将hadoop-3.1.0文件拷贝到非中文路径（比如d:\）

1.2. 配置HADOOP_HOME环境变量

1.3. 配置Path环境变量

注意：如果环境变量不起作用，可以重启电脑试试

验证Hadoop环境变量是否正常双击winutils.exe，如果报如下错误，说明缺少微软运行库

1.4. 在IDEA中创建一个Maven工程HdfsClient

导入相应的依赖坐标日志添加

<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.1.3</version> //根据自己使用的Hadoop版本决定
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>1.7.30</version>
    </dependency>
</dependencies>

在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入

log4j.rootLogger=INFO, stdout 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 
log4j.appender.logfile=org.apache.log4j.FileAppender 
log4j.appender.logfile.File=target/spring.log 
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

1.5. 创建包名：com.learning.hdfs

1.6. 创建HdfsClient类

public class HdfsClient {
    @Test
    public void testMkdirs() throws IOException, URISyntaxException, InterruptedException {
        // 1 获取文件系统
        Configuration configuration = new Configuration();
        // FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration);
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration,"panda");
        // 2 创建目录
        fs.mkdirs(new Path("/xiyou/huaguoshan/"));
        // 3 关闭资源
        fs.close();
    }
}

1.7. 执行程序

客户端去操作HDFS时，是有一个用户身份的,默认情况下，HDFS客户端API会从采用Windows默认用户访问HDFS，会报权限异常错误。所以在访问HDFS时，一定要配置用户

此时从web ui可以看到在根目录下有了一个xiyou文件夹，xiyou文件夹里面有个huaguoshan文件夹

2. HDFS的API案例实操

2.1. HDFS文件上传（测试参数优先级）

2.1.1. 编写源代码

提取init和close方法

private FileSystem fs;

@Before
public void init() throws URISyntaxException, IOException, InterruptedException {
    URI uri = new URI("hdfs://Hadoop102:8020");
    Configuration configuration = new Configuration();
    configuration.set("dfs.replication", "2");
    String user = "panda";
    fs = FileSystem.get(uri, configuration, user);
}

@After
public void close() throws IOException {
    fs.close();
}

核心方法

@Test
public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException {
    fs.copyFromLocalFile(new Path("d:/sunwukong.txt"), new Path("/xiyou/huaguoshan"));
｝

2.1.2. 将hdfs-site.xml写入到项目的resources资源目录下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>dfs.replication</name>
         <value>1</value>
    </property>
</configuration>

2.1.3. 参数优先级

分别进行不配置xml文件和configuration配置，配置xml文件不配置configuration配置，两者都配置

可以发现

参数优先级排序
- 客户端代码中设置的值 > ClassPath下的用户自定义配置文件 > 服务器的自定义配置（xxx-site.xml） > 服务器的默认配置（xxx-default.xml）

2.2. HDFS文件下载

@Test

public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{
    // boolean delSrc 指是否将原文件删除
    // Path src 指要下载的文件路径
    // Path dst 指将文件下载到的路径
    // boolean useRawLocalFileSystem 是否开启文件校验
    fs.copyToLocalFile(false, new Path("/xiyou/huaguoshan/sunwukong.txt"), new Path("d:/sunwukong2.txt"), true);
}

2.3. HDFS文件更名和移动

@Test

public void testRename() throws IOException, InterruptedException, URISyntaxException{

    fs.rename(new Path("/xiyou/huaguoshan/sunwukong.txt"), new Path("/xiyou/huaguoshan/meihouwang.txt"));

}

其实与剪切类似，只是相当于在粘贴后会根据是否有文件名来进行改名

2.4. HDFS删除文件和目录

@Test

public void testDelete() throws IOException, InterruptedException, URISyntaxException{
    
    // 第二个参数为是否递归删除
    fs.delete(new Path("/xiyou"), true);

}

2.5 HDFS文件详情查看

查看文件中包含的各种信息-

@Test

public void testListFiles() throws IOException, InterruptedException, URISyntaxException {

    RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true); 

    while (listFiles.hasNext()) {

         LocatedFileStatus fileStatus = listFiles.next();
         // 获取路径
         System.out.println("========" + fileStatus.getPath() + "=========");
         // 获取权限
         System.out.println(fileStatus.getPermission());
         // 获取所有者
         System.out.println(fileStatus.getOwner());
         // 获取所在组
         System.out.println(fileStatus.getGroup());
         // 获取文件大小
         System.out.println(fileStatus.getLen());
         // 获取最后一次更改时间
         System.out.println(fileStatus.getModificationTime());
         // 获取副本数量
         System.out.println(fileStatus.getReplication());
         //获取块大小
         System.out.println(fileStatus.getBlockSize());
         // 获取文件名
         System.out.println(fileStatus.getPath().getName());
         // 获取块信息
         BlockLocation[] blockLocations = fileStatus.getBlockLocations();
         System.out.println(Arrays.toString(blockLocations));

    }

}

2.6. HDFS文件和文件夹判断

@Test
public void testListStatus() throws IOException, InterruptedException, URISyntaxException{
 
    FileStatus[] listStatus = fs.listStatus(new Path("/"));
    
    for (FileStatus fileStatus : listStatus) {
        
        if (fileStatus.isFile()) {
            System.out.println("file:"+fileStatus.getPath().getName());
        }else {
            System.out.println("dir:"+fileStatus.getPath().getName());

        }

    }

}

HDFS的API操作