简单，可复制

点点滴滴，尽在文中

:: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅

:: 管理 ::

431 随笔 :: 0 文章 :: 538 评论 :: 0 引用

公告

史上最好的免费svn空间

昵称：ggjucheng
园龄：6年9个月
粉丝：1643
关注： 6 +加关注

博客地图

c/c++笔记
本人学习c/c++的一些笔记
db笔记
mysql nosql
hadoop笔记
本人工作中hadoop的心得
internet笔记
互联网学习笔记
java笔记
java平台笔记
Linux/Unix笔记
本人学习linux/unix的笔记
TCP/IP笔记
本人学习TCP/IP的心得和笔记
web开发
html css js php etc.....
技术花絮
非技术的技术
其他笔记本
比较零碎的技术文章归类
学习指南
IT技术学习路线,IT经典书籍学习和下载

友情链接

IT短篇笑话
百忙中，可以看看it短篇笑话，笑一笑，放松下！
相当好用的免费svn空间
国内挺不错的svn免费空间，很适合小团队使用

积分与排名

积分 - 1046749
排名 - 73

阅读排行榜

评论排行榜

获取默认配置

配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:
1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key，配置hadoop集群。
2.浏览apache官网,三个配置文件链接如下:
hadoop.apache.org/common/docs…
hadoop.apache.org/common/docs…
hadoop.apache.org/common/docs…
这里是浏览hadoop当前版本号的默认配置文件，其他版本号，要另外去官网找。
其中第一个方法找到默认的配置是最好的，因为每个属性都有说明，可以直接使用。
另外，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。

常用的端口配置

HDFS端口

参数	描述	默认	配置文件	例子值
fs.default.name	namenode RPC交互端口	8020	core-site.xml	hdfs://master:8020/
dfs.http.address	NameNode web管理端口	50070	hdfs-site.xml	0.0.0.0:50070
dfs.datanode.address	datanode　控制端口	50010	hdfs-site.xml	0.0.0.0:50010
dfs.datanode.ipc.address	datanode的RPC服务器地址和端口	50020	hdfs-site.xml	0.0.0.0:50020
dfs.datanode.http.address	datanode的HTTP服务器和端口	50075	hdfs-site.xml	0.0.0.0:50075

MR端口

参数	描述	默认	配置文件	例子值
mapred.job.tracker	job tracker交互端口	8021	mapred-site.xml	hdfs://master:8021/
mapred.job.tracker.http.address	job tracker的web管理端口	50030	mapred-site.xml	0.0.0.0:50030
mapred.task.tracker.http.address	task tracker的HTTP端口	50060	mapred-site.xml	0.0.0.0:50060

其他端口

参数	描述	默认	配置文件	例子值
dfs.secondary.http.address	secondary NameNode web管理端口	50090	hdfs-site.xml	0.0.0.0:28680

集群目录配置

参数	描述	默认	配置文件	例子值
dfs.name.dir	name node的元数据,以,号隔开,hdfs会把元数据冗余复制到这些目录，一般这些目录是不同的块设备，不存在的目录会被忽略掉	{hadoop.tmp.dir} /dfs/name	hdfs-site.xm	/hadoop/hdfs/name
dfs.name.edits.dir	node node的事务文件存储的目录,以,号隔开,hdfs会把事务文件冗余复制到这些目录，一般这些目录是不同的块设备，不存在的目录会被忽略掉	${dfs.name.dir}	hdfs-site.xm	${dfs.name.dir}
fs.checkpoint.dir	secondary NameNode的元数据以,号隔开,hdfs会把元数据冗余复制到这些目录，一般这些目录是不同的块设备，不存在的目录会被忽略掉	${hadoop.tmp.dir} /dfs/namesecondary	core-site.xml	/hadoop/hdfs/namesecondary
fs.checkpoint.edits.dir	secondary NameNode的事务文件存储的目录,以,号隔开,hdfs会把事务文件冗余复制到这些目录	${fs.checkpoint.dir}	core-site.xml	${fs.checkpoint.dir}
hadoop.tmp.dir	临时目录,其他临时目录的父目录	/tmp/hadoop-${user.name}	core-site.xml	/hadoop/tmp/hadoop-${user.name}
dfs.data.dir	data node的数据目录,以,号隔开,hdfs会把数据存在这些目录下，一般这些目录是不同的块设备，不存在的目录会被忽略掉	${hadoop.tmp.dir} /dfs/data	hdfs-site.xm	/hadoop/hdfs/data1/data, /hadoop/hdfs/data2/data
mapred.local.dir	MapReduce产生的中间数据存放目录,以,号隔开,hdfs会把数据存在这些目录下，一般这些目录是不同的块设备，不存在的目录会被忽略掉	${hadoop.tmp.dir} /mapred/local	mapred-site.xml	/hadoop/hdfs/data1/mapred/local, /hadoop/hdfs/data2/mapred/local
mapred.system.dir	MapReduce的控制文件	${hadoop.tmp.dir} /mapred/system	mapred-site.xml	/hadoop/hdfs/data1/system

其他配置

参数	描述	默认	配置文件	例子值
dfs.support.append	支持文件append，主要是支持hbase	false	hdfs-site.xml	true
dfs.replication	文件复制的副本数，如果创建时不指定这个参数，就使用这个默认值作为复制的副本数	3	hdfs-site.xml	2

posted on 2012-04-17 23:12 ggjucheng 阅读(51320) 评论(1) 编辑收藏

#1楼 26876462013/5/23 10:12:12 2013-05-23 10:12 zhaokun880910 非常好支持(0)反对(0)
刷新评论刷新页面返回顶部注册用户登录后才能发表评论，请登录或注册，访问网站首页。【推荐】超50万VC++源码: 大型组态工控、电力仿真CAD与GIS源码库！
【免费】要想入门学习Linux系统技术，你应该先选择一本适合自己的书籍
【前端】SpreadJS表格控件，可嵌入应用开发的在线Excel
【直播】如何快速接入微信支付功能

hadoop集群默认配置和常用配置 - ggjucheng - 博客园