python怎么读取hdfs上的文件

共计 723 个字符，预计需要花费 2 分钟才能阅读完成。

要在 Python 中读取 HDFS 上的文件，您可以使用 Hadoop 的文件系统库 pyarrow 或 hdfs3。
使用 pyarrow 读取 HDFS 上的文件，您需要安装 pyarrow 库并配置好 Hadoop 的环境变量。然后可以使用以下代码示例读取 HDFS 上的文件：

import pyarrow as pa
# 连接到 HDFS 文件系统
fs = pa.hdfs.connect(host="namenode_host", port=8020, user="hdfs_user")
# 读取 HDFS 上的文件
with fs.open("/path/to/file.txt", mode='rb') as f:
data = f.read()
# 打印文件内容
print(data.decode('utf-8'))

使用 hdfs3 库读取 HDFS 上的文件，您需要安装 hdfs3 库并配置好 Hadoop 的环境变量。然后可以使用以下代码示例读取 HDFS 上的文件：

import hdfs3
# 连接到 HDFS 文件系统
fs = hdfs3.HDFileSystem(host="namenode_host", port=8020, user="hdfs_user")
# 读取 HDFS 上的文件
with fs.open("/path/to/file.txt", 'rb') as f:
data = f.read()
# 打印文件内容
print(data.decode('utf-8'))

请替换 namenode_host 为您的 HDFS Namenode 的主机名或 IP 地址，8020为 Namenode 的端口号（默认为 8020），hdfs_user为 HDFS 中的用户名。然后将 /path/to/file.txt 替换为您要读取的文件的路径。

丸趣 TV 网 – 提供最优质的资源集合！