Hadoop HDFS-端口&web管理

41 阅读2分钟

作者介绍:简历上没有一个精通的运维工程师。请点击上方的蓝色《运维小路》关注我,下面的思维导图也是预计更新的内容和当前进度(不定时更新)。

中间件,我给它的定义就是为了实现某系业务功能依赖的软件,包括如下部分:

Web服务器

代理服务器

ZooKeeper

Kafka

RabbitMQ

Hadoop HDFS(本章节)

我们的高可用集群部署完成以后,不同的进程会监听不同的端口,下面我们就来详细介绍下端口

1. NameNode 服务

属性

说明

进程名

NameNode

HDFS 元数据管理核心服务

Web UI 端口

192.168.31.161:9870

(HTTP)

集群管理界面:文件浏览、节点状态、容量监控等

RPC 端口

192.168.31.161:8020

核心通信端口:客户端操作、DataNode 上报块信息

配置文件

hdfs-site.xml

关键配置项:
dfs.namenode.rpc-address (8020)
dfs.namenode.http-address (9870)

访问方式

Web:http://node1:9870

浏览器访问集群概览

健康检查

hdfs haadmin -getServiceState nn1

检查 Active/Standby 状态

2. JournalNode 服务

属性

说明

进程名

JournalNode

HDFS HA 共享编辑日志服务

HTTP 端口

0.0.0.0:8480

(HTTP)

极简状态页

:仅显示基础信息(如 "JournalNode at http://0.0.0.0:8480"

RPC 端口

0.0.0.0:8485

核心服务端口

:Active/Standby NameNode 同步元数据

数据存储

dfs.journalnode.edits.dir

编辑日志存储目录(需确保磁盘空间充足)

配置文件

hdfs-site.xml

关键配置项:
dfs.journalnode.http-address (8480)
dfs.journalnode.rpc-address (8485)

访问验证

curl http://localhost:8480

预期返回 HTTP 200 和一行文本

3. DataNode 服务

属性

说明

进程名

DataNode

数据块存储服务

Web UI 端口

0.0.0.0:50075

(HTTP)

单节点管理界面:磁盘状态、块列表、日志查看等

数据端口

0.0.0.0:50010

(TCP)

客户端数据读写端口(块传输)

IPC 端口

0.0.0.0:50020

(IPC)

内部通信端口:接收 NameNode 指令

本地管理端口

127.0.0.1:39954

(TCP)

JMX 监控端口

配置文件

hdfs-site.xml

关键配置项:
dfs.datanode.address (50010)
dfs.datanode.http.address (50075)

访问方式

Web:http://node1:50075

查看该 DataNode 的详细状态

其实这里最常用的是NameNode 服务的web端口,因为他不仅可以查看集群状态,还可以进行文件上传下载操作,其他使用相对较少。

运维小路

一个不会开发的运维!一个要学开发的运维!一个学不会开发的运维!欢迎大家骚扰的运维!

关注微信公众号《运维小路》获取更多内容。