作者介绍:简历上没有一个精通的运维工程师。请点击上方的蓝色《运维小路》关注我,下面的思维导图也是预计更新的内容和当前进度(不定时更新)。
中间件,我给它的定义就是为了实现某系业务功能依赖的软件,包括如下部分:
Web服务器
代理服务器
ZooKeeper
Kafka
RabbitMQ
Hadoop HDFS(本章节)
我们的高可用集群部署完成以后,不同的进程会监听不同的端口,下面我们就来详细介绍下端口
1. NameNode 服务
属性
值
说明
进程名
NameNode
HDFS 元数据管理核心服务
Web UI 端口
192.168.31.161:9870
(HTTP)
集群管理界面:文件浏览、节点状态、容量监控等
RPC 端口
192.168.31.161:8020
核心通信端口:客户端操作、DataNode 上报块信息
配置文件
hdfs-site.xml
关键配置项:
dfs.namenode.rpc-address (8020)
dfs.namenode.http-address (9870)
访问方式
Web:http://node1:9870
浏览器访问集群概览
健康检查
hdfs haadmin -getServiceState nn1
检查 Active/Standby 状态
2. JournalNode 服务
属性
值
说明
进程名
JournalNode
HDFS HA 共享编辑日志服务
HTTP 端口
0.0.0.0:8480
(HTTP)
极简状态页
:仅显示基础信息(如 "JournalNode at http://0.0.0.0:8480")
RPC 端口
0.0.0.0:8485
核心服务端口
:Active/Standby NameNode 同步元数据
数据存储
dfs.journalnode.edits.dir
编辑日志存储目录(需确保磁盘空间充足)
配置文件
hdfs-site.xml
关键配置项:
dfs.journalnode.http-address (8480)
dfs.journalnode.rpc-address (8485)
访问验证
curl http://localhost:8480
预期返回 HTTP 200 和一行文本
3. DataNode 服务
属性
值
说明
进程名
DataNode
数据块存储服务
Web UI 端口
0.0.0.0:50075
(HTTP)
单节点管理界面:磁盘状态、块列表、日志查看等
数据端口
0.0.0.0:50010
(TCP)
客户端数据读写端口(块传输)
IPC 端口
0.0.0.0:50020
(IPC)
内部通信端口:接收 NameNode 指令
本地管理端口
127.0.0.1:39954
(TCP)
JMX 监控端口
配置文件
hdfs-site.xml
关键配置项:
dfs.datanode.address (50010)
dfs.datanode.http.address (50075)
访问方式
Web:http://node1:50075
查看该 DataNode 的详细状态
其实这里最常用的是NameNode 服务的web端口,因为他不仅可以查看集群状态,还可以进行文件上传下载操作,其他使用相对较少。
运维小路
一个不会开发的运维!一个要学开发的运维!一个学不会开发的运维!欢迎大家骚扰的运维!
关注微信公众号《运维小路》获取更多内容。