简介、Centos7安装，伪分布式搭建

丰泽
362 阅读6分钟

/字符串

查找字符串

起始行，终止行s/要替换的字符串/替换的新的字符串/g

%指全文、s指开始、g指全局变量，不加全局，光标放在第几行修改的就是第几行

Mysql默认端口是3306。

主要目录：

lib：存放着系统最基本的动态链接共享库。

mnt：用来临时挂载文件系统，为某些设备提供默认挂载点。

root：系统管理员的主目录

lost+found：文件系统损坏后找回的文件存放目录。

opt：某第三方软件商软件的安装地点。

medir：挂载光盘U盘等文件系统的目录。

语言笔记：

  • 1.在创建Linux分区时，一定要创建那两个分区：根分区和swap（交换分区）

  • 2.在一台计算机的内存为8GB，则交换区大小通常为16GB。（2倍）

  • 3.MKDIR创建新目录，如果父目录存在时先创建父目录的选项是（-p）。

  • 4.Linux有三个查看文件的命令，若希望在查看文件内容过程中可以用光标上下移动来查看文件内容，应使用命令less。

  • 5.关闭Linux系统（不重新启动），可以使用的命令：halt.shutdown -h。

  • 6.为了能够把新建立的文件系统mount到系统中，我们还需要指定该文件系统在整个目录结构中的位置，或称为挂载点。

  • 7.reboot、shutdown -r可以实现重新启动Linux操作系统。

  • 8.chmod修改Linux中文件的权限。

  • 9.大部分主要的Linux系统文件是放在下面哪个目录中/bin/。

  • 10.查看文件内容：more、less、cat。

  • 11.seo：搜索引擎优化。

  • 12.查看系统挂载：mount。

  • 13.显示系统主机名的命令：uname -n。

  • 14.在打包，归档时能列出详细的列表：tar -t。

  • 15.查看系统负载的命令：w

  • 16.在vi编辑器里，命令“dd”用来删除当前的行。

  • 17.Ping命令用来检测网络连通特性的。

  • 18.Linux文件系统通过：节点（inode）来描述所有的文件，每一个目录，文件和设备都对应一个且只能对应一个；节点，节点中包含两部分基本参数；文件说明信息和索引表。

  • 19.进程是一个动态概念，描述程序的一次运行活动，是操作系统可感知可控制的动态实体，是系统分配各种资源，进行调度的基本单位。

  • 20.GNU是GNU is not UNIX的缩写，是自由软件基金会发起的一个项目名称，该项目试图开大一个类似于UNIX，但是是可自由发布和可移植的操作系统。

  • 21.文件是一段程序或数据的集合，在操作系统中，文件被定义为一个名字的相关字符流的集合，或者一个具有符号的相关记录的集合。

Linux 环境配置：

镜像文件

vi /etc/sysconfig/network-scripts/ifcfg-ens33

内容：

BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.0.235（虚拟机的IP地址）
NETMASK=255.255.255.0（子网掩码）
GATEWAY=192.168.0.1（网关）
DNS1=223.5.5.5
DNS2=223.6.6.6（阿里的服务器解析器）

网络环境【Failed】起不来，原因，解决办法：

Linux里面有两个网络冲突了，关掉NetManager。

service NetworkManager stop

chkconfig NetworkManager off

service network restart

伪分布式搭建：

Wget+网站地址（下载jdk，hadoop）

# Hadoop伪分布搭建

**1.1修改主机名**

vim  /etc/hostname 
Master

**1.2修改IP**

>第一种：通过Linux图形界面进行修改（强烈推荐）

进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 
点击Edit connections -> 选中当前网络System eth0 -> 
点击edit按钮 -> 选择IPv4 -> method选择为manual -> 
点击add按钮 -> 添加IP：192.168.1.101 子网掩码：255.255.255.0 网关：192.168.1.1 -> apply

>第二种：修改配置文件方式（屌丝程序猿专用）

vim /etc/sysconfig/network-scripts/ifcfg-eth0
			
DEVICE="eth0"
BOOTPROTO="static"               #启用静态IP地址
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.1.101"            #设置IP地址
NETMASK="255.255.255.0"          子网掩码
GATEWAY="192.168.1.1"             #设置网关
DNS1=223.5.5.5
DNS2=223.6.6.6
			
**1.3修改主机名和IP的映射关系**

vim /etc/hosts
	
192.168.1.101	Master

**1.4关闭防火墙**</br>
>centos6 可以使用

#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
	
>centos7不能使用解决办法

# 不能使用iptables 命令的安装源
yum install -y iptables-services
//关闭防火墙
service iptables stop
Redirecting to /bin/systemctl stop 
 iptables.service
//检查防火墙状态
service iptables status
Redirecting to /bin/systemctl status  iptables.service
iptables.service - IPv4 firewall with iptables
 Loaded: loaded (/usr/lib/systemd/system/iptables.servicedisabled; vendor preset: disabled)Active: inactive(不活动的) (dead)

**1.5重启Linux**

reboot

# 2.安装JDK
	
2.2解压jdk
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app
		
2.3将java添加到环境变量中

vim /etc/profile
#在文件最后添加
export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
export PATH=$PATH:$JAVA_HOME/bin



**2.4将hadoop添加到环境变量中**

第一种方式
 vim  ~/.bash_profile
 最底下加入：
HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.4
PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME PATH
第二种方式
vim /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_171
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

**刷新配置**

source /etc/profile
source ~/.bash_profile 

                
# 3.安装hadoop2.6.4
* 伪分布式需要修改5个配置文件,配置文件在etc目录下

## 3.1配置hadoop
>第一个配置文件名：hadoop-env.sh

vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/java/jdk1.7.0_65



>第二个配置文件名：vim core-site.xml 

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://weekend-1206-01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/home/hadoop/hadoop-2.4.1/tmp</value>
</property>
	
>第三个配置文件：hdfs-site.xml  
  
<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>
	
>第四个配置文件：mapred-site.xml 

cp mapred-site.xml.template mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>


>第五个配置文件：yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>weekend-1206-01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

	
## 3.3格式化namenode（是对namenode进行初始化）

hadoop namenode -format
	
## 3.4启动hadoop

先启动HDFS
sbin/start-dfs.sh
		
再启动YARN
sbin/start-yarn.sh
		
## 3.5验证是否启动成功

使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

http://192.168.1.101:50070 （HDFS管理界面）
http://192.168.1.101:8088 （MR管理界面）
avatar
文章
阅读
粉丝