Hadoop常用服务节点默认端口

7,122 阅读3分钟
服务节点名默认端口配置说明
HDFSDataNode50010dfs.datanode.addressDAataNode初始化时向NameNode发送心跳
HDFSDataNode50020dfs.datanode.ipc.addressDataNode ipc服务器地址和端口
HDFSDataNode50075dfs.datanode.http.addressDataNode http服务器地址和端口
HDFSDataNode50475dfs.datanode.https.addressDataNode https服务器地址和端口
HDFSNameNode50470dfs.namenode.https-addressNameNode https服务器地址和端口
HDFSNameNode50070dfs.namenode.http-addressNameNode Web UI端口
HDFSNameNode8020fs.defaultFSNameNode API连接默认端口
HDFSNameNode9870fs.defaultFS3.0版本后8020==>9870
HDFSZKFC8485dfs.journalnode.rpc-addressJournalNode RPC服务器地址和端口
HDFSZKFC8480dfs.journalnode.http-addressJournalNode HTTP服务器监听的地址和端口
HDFSZKFC8019dfs.ha.zkfc.port高可用端口
YARNResourceManager8032yarn.resourcemanager.addressRM中Applicatio Manager接口的地址和端口
YARNResourceManager8030yarn.resourcemanager.scheduler.address调度程序接口的地址和端口
YARNResourceManager8031yarn.resourcemanager.resource-tracker.addressIPC
YARNResourceManager8033yarn.resourcemanager.admin.addressIPC
YARNResourceManager8088yarn.resourcemanager.webapp.addressRM Web应用程序的http地址和端口
YARNNodeManager8040yarn.nodemanager.localizer.addresslocalizer IPC
YARNNodeManager8041yarn.nodemanager.addressNM中Container Manager的端口
YARNNodeManager8042yarn.nodemanager.webapp.addressNM Webapp地址和端口
YARNJobHistory Server10020mapreduce.jobhistory.addressMapReduce JobHistory服务器IPC的IP和端口
YARNJobHistory Server19888mapreduce.jobhistory.webapp.addressMapReduce JobHistory服务器WebUI的IP和端口
HiveMetastore9083hive.metastore.portHive Metastore监听器端口
HiveHiveServe10000hive.server2.thrift.port在env通过设置$ HIVE_SERVER2_THRIFT_PORT来覆盖
ZooKeeperServer2181{yourPath}/conf/zoo.cfg中clientPort=客户端连接服务的端口
ZooKeeperLeader2888{yourPath}/conf/zoo.cfg中server.x=hostname:2888:3888Follower与Leader通讯
ZooKeeper-3888{yourPath}/conf/zoo.cfg中server.x=hostname:2888:3888Leader选举端口
KafkaServer9092listeners=PLAINTEXT://hostname:9092Kafka集群通信RPC端口
Spark-7077spark-env.sh| SPARK_MASTER_PORT=7077提交任务的端口
Spark-8080spark-env.sh | SPARK_MASTER_WEBUI_PORT=8080sparkwebUI的端口
Spark-8081spark-env.sh |SPARK_WORKER_WEBUI_PORT=8081worker的webUI的端口
Spark-4040spark-defaults.conf | spark.ui.port 4044application的webUI的端口
Spark-18080spark-defaults.conf | spark.history.ui.port 18080historyServer的webUI的端口
Spark-6066spark-defaults.conf | spark.master.rest.port 16066Spark外部服务端口
HBaseMaster60000hbase.master.portmaster IPC
HBaseMaster60010hbase.master.info.portmaster http服务端口
HBaseRegionServer60020hbase.regionserver.portregionserver IPC
HBaseRegionServer60030hbase.regionserver.info.portregionserver http服务端口
HBaseHQuorumPeer2181hbase.zookeeper.property.clientPortHBase内嵌zookeeper,
HBaseHQuorumPeer2888hbase.zookeeper.peerport详情功能请上翻查看,
HBaseHQuorumPeer3888hbase.zookeeper.leaderportzookeeper的作用&端口。
CDHCM7180在mysql库CONFIGS表可以改Cloudera Manager WebUI端口
CDHCM7182在CM Web UI管理选项也可以改Cloudera Manager Server 与 Agent 通讯端口
HUE-8888配置文件的[desktop]下:http_port=8888Hue WebUI 端口
Flink-6123jobmanager.rpc.port与作业管理器进行通信的网络端口
Flink-"0"metrics.internal.query-service.portFlink的内部指标查询服务的端口范围,范围(“ 50100-50200”),默认情况下,Flink将选择一个随机端口
Flink-"8081"rest.bind-port服务器绑定自身的端口,范围(“ 50100-50200”)
Flink-8081rest.port客户端连接到的端口。 如果未指定rest.bind-port,则REST服务器将绑定到该端口
Flink-"0"taskmanager.rpc.port公开TaskManager的外部RPC端口,,范围(“ 50100-50200”)

对于存在Web UI(HTTP服务)的所有hadoop daemon,有如下url:

  • /logs 日志文件列表,用于下载和查看

  • /logLevel 允许你设定log4j的日志记录级别,类似于hadoop daemonlog

  • **/jmx** 服务端的Metrics,以JSON格式输出。

/jmx?qry=Hadoop:*会返回所有hadoop相关指标。 
/jmx?get=MXBeanName::AttributeName 查询指定bean指定属性的值,例如/jmx?get=Hadoop:service=NameNode,name=NameNodeInfo::ClusterId会返回ClusterId。 
这个请求的处理类:org.apache.hadoop.jmx.JMXJsonServlet
而特定的Daemon又有特定的URL路径特定相应信息。

[NameNode] http://{HostName}:50070/

  • /dfshealth.jsp
HDFS信息页面,其中有链接可以查看文件系统

/dfsnodelist.jsp?whatNodes=(DEAD|LIVE) 
显示DEAD或LIVE状态的datanode
  • **/fsck** 运行fsck命令,不推荐在集群繁忙时使用!

[DataNode] http://{HostName}:50070/

  • **/blockScannerReport** 每个datanode都会指定间隔验证块信息