服务 | 节点名 | 默认端口 | 配置 | 说明 |
---|
HDFS | DataNode | 50010 | dfs.datanode.address | DAataNode初始化时向NameNode发送心跳 |
HDFS | DataNode | 50020 | dfs.datanode.ipc.address | DataNode ipc服务器地址和端口 |
HDFS | DataNode | 50075 | dfs.datanode.http.address | DataNode http服务器地址和端口 |
HDFS | DataNode | 50475 | dfs.datanode.https.address | DataNode https服务器地址和端口 |
HDFS | NameNode | 50470 | dfs.namenode.https-address | NameNode https服务器地址和端口 |
HDFS | NameNode | 50070 | dfs.namenode.http-address | NameNode Web UI端口 |
HDFS | NameNode | 8020 | fs.defaultFS | NameNode API连接默认端口 |
HDFS | NameNode | 9870 | fs.defaultFS | 3.0版本后8020==>9870 |
HDFS | ZKFC | 8485 | dfs.journalnode.rpc-address | JournalNode RPC服务器地址和端口 |
HDFS | ZKFC | 8480 | dfs.journalnode.http-address | JournalNode HTTP服务器监听的地址和端口 |
HDFS | ZKFC | 8019 | dfs.ha.zkfc.port | 高可用端口 |
YARN | ResourceManager | 8032 | yarn.resourcemanager.address | RM中Applicatio Manager接口的地址和端口 |
YARN | ResourceManager | 8030 | yarn.resourcemanager.scheduler.address | 调度程序接口的地址和端口 |
YARN | ResourceManager | 8031 | yarn.resourcemanager.resource-tracker.address | IPC |
YARN | ResourceManager | 8033 | yarn.resourcemanager.admin.address | IPC |
YARN | ResourceManager | 8088 | yarn.resourcemanager.webapp.address | RM Web应用程序的http地址和端口 |
YARN | NodeManager | 8040 | yarn.nodemanager.localizer.address | localizer IPC |
YARN | NodeManager | 8041 | yarn.nodemanager.address | NM中Container Manager的端口 |
YARN | NodeManager | 8042 | yarn.nodemanager.webapp.address | NM Webapp地址和端口 |
YARN | JobHistory Server | 10020 | mapreduce.jobhistory.address | MapReduce JobHistory服务器IPC的IP和端口 |
YARN | JobHistory Server | 19888 | mapreduce.jobhistory.webapp.address | MapReduce JobHistory服务器WebUI的IP和端口 |
Hive | Metastore | 9083 | hive.metastore.port | Hive Metastore监听器端口 |
Hive | HiveServe | 10000 | hive.server2.thrift.port | 在env通过设置$ HIVE_SERVER2_THRIFT_PORT来覆盖 |
ZooKeeper | Server | 2181 | {yourPath}/conf/zoo.cfg中clientPort= | 客户端连接服务的端口 |
ZooKeeper | Leader | 2888 | {yourPath}/conf/zoo.cfg中server.x=hostname:2888:3888 | Follower与Leader通讯 |
ZooKeeper | - | 3888 | {yourPath}/conf/zoo.cfg中server.x=hostname:2888:3888 | Leader选举端口 |
Kafka | Server | 9092 | listeners=PLAINTEXT://hostname:9092 | Kafka集群通信RPC端口 |
Spark | - | 7077 | spark-env.sh| SPARK_MASTER_PORT=7077 | 提交任务的端口 |
Spark | - | 8080 | spark-env.sh | SPARK_MASTER_WEBUI_PORT=8080 | sparkwebUI的端口 |
Spark | - | 8081 | spark-env.sh |SPARK_WORKER_WEBUI_PORT=8081 | worker的webUI的端口 |
Spark | - | 4040 | spark-defaults.conf | spark.ui.port 4044 | application的webUI的端口 |
Spark | - | 18080 | spark-defaults.conf | spark.history.ui.port 18080 | historyServer的webUI的端口 |
Spark | - | 6066 | spark-defaults.conf | spark.master.rest.port 16066 | Spark外部服务端口 |
HBase | Master | 60000 | hbase.master.port | master IPC |
HBase | Master | 60010 | hbase.master.info.port | master http服务端口 |
HBase | RegionServer | 60020 | hbase.regionserver.port | regionserver IPC |
HBase | RegionServer | 60030 | hbase.regionserver.info.port | regionserver http服务端口 |
HBase | HQuorumPeer | 2181 | hbase.zookeeper.property.clientPort | HBase内嵌zookeeper, |
HBase | HQuorumPeer | 2888 | hbase.zookeeper.peerport | 详情功能请上翻查看, |
HBase | HQuorumPeer | 3888 | hbase.zookeeper.leaderport | zookeeper的作用&端口。 |
CDH | CM | 7180 | 在mysql库CONFIGS表可以改 | Cloudera Manager WebUI端口 |
CDH | CM | 7182 | 在CM Web UI管理选项也可以改 | Cloudera Manager Server 与 Agent 通讯端口 |
HUE | - | 8888 | 配置文件的[desktop]下:http_port=8888 | Hue WebUI 端口 |
Flink | - | 6123 | jobmanager.rpc.port | 与作业管理器进行通信的网络端口 |
Flink | - | "0" | metrics.internal.query-service.port | Flink的内部指标查询服务的端口范围,范围(“ 50100-50200”),默认情况下,Flink将选择一个随机端口 |
Flink | - | "8081" | rest.bind-port | 服务器绑定自身的端口,范围(“ 50100-50200”) |
Flink | - | 8081 | rest.port | 客户端连接到的端口。 如果未指定rest.bind-port,则REST服务器将绑定到该端口 |
Flink | - | "0" | taskmanager.rpc.port | 公开TaskManager的外部RPC端口,,范围(“ 50100-50200”) |
对于存在Web UI(HTTP服务)的所有hadoop daemon,有如下url:
/jmx?qry=Hadoop:*会返回所有hadoop相关指标。
/jmx?get=MXBeanName::AttributeName 查询指定bean指定属性的值,例如/jmx?get=Hadoop:service=NameNode,name=NameNodeInfo::ClusterId会返回ClusterId。
这个请求的处理类:org.apache.hadoop.jmx.JMXJsonServlet
而特定的Daemon又有特定的URL路径特定相应信息。
[NameNode] http://{HostName}:50070/
HDFS信息页面,其中有链接可以查看文件系统
/dfsnodelist.jsp?whatNodes=(DEAD|LIVE)
显示DEAD或LIVE状态的datanode
**/fsck**
运行fsck命令,不推荐在集群繁忙时使用!
[DataNode] http://{HostName}:50070/
**/blockScannerReport**
每个datanode都会指定间隔验证块信息