C++ 使用libhdfs 连接Hadoop HDFS 并写入文件数据

471 阅读1分钟

一、配置环境变量

1、查看 CLASSPATH

 echo $CLASSPATH
  • 若为空,则进行配置CLASSPATH

2、配置CLASSPATH

  • 第一种方法:修改 ~/.bashrc 内容
  vi ~/.bashrc
  
  # 添加如下内容
  export CLASSPATH=`hadoop classpath`:$CLASSPATH
  
  source ~/.bashrc
  • 第二种方法:修改 /etc/profile 内容
 sudo vi /etc/profile
 ​
 # 添加如下内容
 export CLASS_PATH=$CLASS_PATH:`hadoop classpath`
 ​
 # 随后保存退出
 ​
 source /etc/profile

3、验证CLASSPATH是否配置好

 echo $CLASSPATH
 ​
 # 若为正常的一长串hadoop路径,则说明CLASSPATH配置完成

4、配置 /etc/profile 文件

  • 添加如下环境变量
 export JRE_HOME=$JAVA_HOME/jre
 export CLASS_PATH=$CLASS_PATH:`hadoop classpath`
 export PATH=$PATH:$JAVA_HOME/bin
 export LD_LIBRARY_PATH=/export/server/hadoop-3.3.4/lib/native/:$LD_LIBRARY_PATH:$JAVA_HOME/jre/lib/amd64/server
 ​
 # 对应的jdk、hadoop安装目录,请自行斟酌判断后修改

二、编写 C 程序连接HDFS

  • 文件名:fs.c
 #include <stdio.h>
 #include <stdlib.h>
 #include <string.h>
 #include "hdfs.h"   // hdfs头文件
 ​
 int main(int argc, char **argv)
 {
     // 连接NameNode主节点
     hdfsFS fs = hdfsConnect("192.168.48.1", 8020);
     
     // 要写的文件路径
     const char *writePath = "/data_test/x.txt";
     
     // 打开路径下的文件
     hdfsFile writeFile = hdfsOpenFile(fs, writePath, O_WRONLY | O_CREAT, 131072, 1, 134217728);
     if (!writeFile)
     {
         fprintf(stderr, "Failed to open %s for writing!\n", writePath);
         exit(-1);
     }
     
     // 进行文件数据的写入
     char buffer[] = "Hello, World!";
     tSize num_written_bytes = hdfsWrite(fs, writeFile, &buffer, strlen(buffer) + 1);
     if (hdfsFlush(fs, writeFile))
     {
         fprintf(stderr, "Failed to 'flush' %s\n", writePath);
         exit(-1);
     }
     
     // 关闭文件
     hdfsCloseFile(fs, writeFile);
     return 0;
 }

三、使用 gcc 命令编译 C 程序

  • 编译文件:fs.c
  • 生成目标运行文件:sample
 gcc fs.c -I$HADOOP_HOME/include -L$HADOOP_HOME/lib/native -lhdfs -o sample
  • 运行程序
 ./sample