在Python中操作HDFS（Hadoop分布式文件系统）主要有三种主流方式，各有侧重。下面我会介绍最常用、最通用的方法，并附上代码示例。
⚙️ 核心库选择与安装
Python操作HDFS最常用的库是 hdfs，它是一个基于WebHDFS REST API的客户端，简单易用，适合大多数文件操作场景。如果需要进行高性能的数据分析（如读写Parquet格式），可以结合 pyarrow 使用。
首先，安装必要的库：
# 安装hdfs库，用于基础文件操作
pip install hdfs
# 安装pyarrow库，用于处理大数据格式（可选）
pip install pyarrow
🔌 建立与HDFS的连接
操作前，需要创建一个客户端连接到HDFS的NameNode。WebHDFS的HTTP端口通常是50070（或9870），而RPC端口通常是9000（或8020），请根据你的Hadoop集群配置进行替换。
from hdfs import InsecureClient
# 请将 'localhost' 和 '50070' 替换为你的NameNode实际地址和Web端口
# 'user' 参数是你访问HDFS的用户名
client = InsecureClient('http://localhost:50070', user='hadoop_user')
# 测试连接：查看根目录状态
try:
print(client.status('/'))
except Exception as e:
print(f"连接失败，请检查HDFS地址和状态: {e}")
其他库如hdfs3和pydoop也可以实现类似功能，但它们可能需要更复杂的本地环境配置。
📂 基础文件操作（使用 hdfs 库）
连接建立后，就可以像操作本地文件一样，对HDFS进行各种操作了。
| 操作 | 代码示例 | 说明 |
|---|---|---|
| 上传文件 | client.upload('/user/hadoop_user/remote.txt', 'local_file.txt') | 将本地文件local_file.txt上传至HDFS的指定路径。 |
| 下载文件 | client.download('/user/hadoop_user/remote.txt', 'downloaded.txt') | 将HDFS文件下载到本地。 |
| 创建目录 | client.makedirs('/user/hadoop_user/new_dir') | 在HDFS上创建新目录。 |
| 列出目录 | client.list('/user/hadoop_user/') | 列出HDFS目录下的所有文件和文件夹。 |
| 读取文件 | with client.read('/user/hadoop_user/data.txt', encoding='utf-8') as reader: | 以文本模式读取HDFS文件内容。 |
| 写入文件 | with client.write('/user/hadoop_user/output.txt', overwrite=True) as writer: | 将字符串数据直接写入HDFS文件。若文件存在，overwrite=True会覆盖它。 |
| 删除文件 | client.delete('/user/hadoop_user/unwanted_file.txt') | 删除HDFS上的指定文件。 |
🚀 进阶：处理结构化大数据（使用 pyarrow）
当需要处理存储在HDFS上的大型数据集（如Parquet、ORC格式）时，pyarrow库是更高效的选择。它能与pandas无缝衔接。
import pyarrow as pa
import pyarrow.parquet as pq
import pyarrow.fs as pafs
# 1. 创建Hadoop文件系统对象（使用RPC端口，通常是9000或8020）
fs = pafs.HadoopFileSystem(host='localhost', port=9000, user='hadoop_user')
# 2. 从HDFS读取Parquet文件到PyArrow Table
try:
table = pq.read_table('/user/hadoop_user/data.parquet', filesystem=fs)
print(table.schema) # 查看数据结构
# 3. 转换为Pandas DataFrame进行进一步分析
df = table.to_pandas()
print(df.head())
except FileNotFoundError:
print("HDFS上的文件不存在，请检查路径。")
# 4. 将Pandas DataFrame写入HDFS上的Parquet文件
import pandas as pd
df_to_write = pd.DataFrame({'name': ['Alice', 'Bob'], 'age': [25, 30]})
table_to_write = pa.Table.from_pandas(df_to_write)
pq.write_table(table_to_write, '/user/hadoop_user/output.parquet', filesystem=fs)
💡 性能优化与替代方案
- 优化建议：处理大量小文件时会遇到性能瓶颈，可以合并小文件；同时，使用Snappy或Gzip压缩（如
data.snappy.parquet）能有效节省存储空间并提升读取速度。 - 高级分析：对于非常复杂的查询或超大规模数据集，推荐使用 PySpark，它能充分利用集群的分布式计算能力。
你是主要用于日常的文件管理，还是想对HDFS上的大规模数据进行分析计算？告诉我你的具体场景，我可以为你提供更精准的代码示例。
