主流大数据组件端口列表

147 阅读3分钟

主流大数据组件端口列表


Hadoop

服务名称默认端口协议用途
NameNode RPC8020TCPHDFS文件系统元数据操作
NameNode Web UI9870HTTPHDFS管理界面
DataNode IPC9866TCPDataNode通信
DataNode Web UI9864HTTPDataNode状态监控
ResourceManager Web8088HTTPYARN资源管理界面
NodeManager Web8042HTTP节点资源汇报界面
JobHistory Server19888HTTPMapReduce作业历史记录

Spark

服务名称默认端口协议用途
Master RPC7077TCP集群通信端口
Master Web UI8080HTTP集群管理界面
Worker Web UI8081HTTPWorker节点状态
Driver Web UI4040HTTP应用详情界面(可递增到4044)
REST Server6066HTTP提交作业的REST接口

Flink

服务名称默认端口协议用途
JobManager RPC6123TCP任务提交和集群管理
JobManager Web UI8081HTTP作业监控仪表盘
TaskManager RPC6122TCP数据交换端口
REST API8081HTTP作业管理接口

Kafka

服务名称默认端口协议用途
Broker9092TCP客户端生产/消费消息
Controller9093TCPBroker间通信
ZooKeeper Connect2181TCP元数据存储
JMX Monitoring9999JMX指标监控端口

HBase

服务名称默认端口协议用途
Master Web UI16010HTTPHMaster管理界面
RegionServer Web UI16030HTTPRegionServer状态监控
REST Server8080HTTPHBase REST API
Thrift Server9090TCPThrift接口服务

ZooKeeper

服务名称默认端口协议用途
Client2181TCP客户端连接端口
Peer Communication2888TCP节点间数据同步
Leader Election3888TCP领导者选举通信

Hive

服务名称默认端口协议用途
HiveServer210000TCPJDBC/ODBC连接端口
Metastore9083TCP元数据服务端口
Web UI10002HTTPHive LLAP界面

其他组件

组件默认端口协议用途
Prometheus9090HTTP监控指标收集端口
Grafana3000HTTP数据可视化仪表盘
Elasticsearch9200HTTPREST API端口
Redis6379TCP数据库服务端口
Airflow Web8080HTTP工作流管理界面

端口使用注意事项

  1. 安全组配置:生产环境需在防火墙中按需开放端口
  2. 端口冲突:部署多个服务时需注意端口分配(如8080被多个组件使用)
  3. 高可用场景:部分端口需要开放给集群内所有节点(如ZooKeeper的2888/3888)
  4. 监控需求:JMX端口(如9999)通常需要额外安全配置

完整端口列表请参考各组件官方文档,不同版本可能存在差异。建议使用netstat -tulpn命令验证实际端口占用情况。