快捷键、复习本上资料

243 阅读3分钟
Ctrl+Shift+上下键  上下移动代码 
Ctrl+Alt+ left/right 返回至上次浏览的位置 
Ctrl+X 删除行 
Ctrl+D 复制行 
Ctrl+/ 或 Ctrl+Shift+/  注释(// 或者/*...*/ ) 
Ctrl+Alt+O 优化导入的类和包 
Alt+Insert 生成代码(如get,set方法,构造函数等)   或者右键(Generate) 
fori/sout/psvm + Tab  
Ctrl+Alt+T  生成try catch  或者 Alt+enter 
CTRL+ALT+T  把选中的代码放在 TRY{} IF{} ELSE{} 里 
Ctrl + O 重写方法  
Ctrl + I 实现方法 
Ctr+shift+U 大小写转化  
ALT+回车    导入包,自动修正  
ALT+/       代码提示 
CTRL+J      自动代码  
Ctrl+Shift+J,整合两行为一行 
CTRL+空格   代码提示  
CTRL+SHIFT+SPACE 自动补全代码  
CTRL+ALT+L  格式化代码  
CTRL+ALT+I  自动缩进  
CTRL+ALT+O  优化导入的类和包  
ALT+INSERT  生成代码(如GET,SET方法,构造函数等)  
CTRL+E      最近更改的代码  
CTRL+ALT+SPACE  类名或接口名提示  
CTRL+P   方法参数提示  
CTRL+Q,可以看到当前方法的声明 
  
Shift+F6  重构-重命名 (包、类、方法、变量、甚至注释等) 
Ctrl+Alt+V 提取变量 
  • 1.

  • 2.

  • 3.

  • 4.

  • 5.

  • 6.

  • 7.

  • 8.

  • 9.

  • 10.

  • 11.

  • 12.


企业:
	第一个方面:
		数据分析
	第二个方面:
		数据检索

基本组件:
	* Zookeeper
		分布式协作框架
			节点数目
				测试集群:3 个
				生产集群:
					>> 小型集群, 3 个或者 5个
					>> 中型机群,5 个 或者 7个
					>> 大型机群, 奇数个
	* HDFS
		存储海量数据
	* YARN
		集群资源管理
		资源调度
	* MapReduce
		并行计算框架
		思想:
			分而治之
			分:map 
			合:reduce

集群大小:
>>> 测试集群
		机器数量:
				5 台   -  10 台
		机器配置:
				>> 内存:24 G /   32 以上
				>> 硬盘:4 TB  以上
				>> CPU 核:6 核CPU 以上
				>> 网卡:万兆
				

>>> 生产集群
	>> 小型集群
		机器数量:
				20 台以下
	>> 中型机群
				50 台以下
	>> 大型机群
				50 台以上


============================Hadoop 发行版本================================
>> Apache

>> CDH
	Cloudera公司
		只支持64位操作系统
安装
	>> tar 包
		http://archive.cloudera.com/cdh5/cdh/5/
	>> rpm 包
		http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/
	>> parcels 包
		cdh 4.1.2 以后才有的
		官方推荐的安装方式
		Cloudera Manager进行安装

>> HDP
	Hortonworks


公司版本:
	apache   ->   cdh    |   hdp 
面试题:
	apache与cdh的比较??为什么选择了cdh???


>>>>>>>>>>>>>>>>>>>>集群环境准备>>>>>>>>>>>>>>>>>>>>
>> 机器
	>> 磁盘阵列
			RAID 0   RAID1  JBOD
			RAID 1 
					两块磁盘映射为一块磁盘使用。
					CentOS 6.4版本,其中一块磁盘损坏,不会影响系统
			JBOD 
				DataNode存储数据推荐的方式
				/dfs/data01
				/dfs/data02
				/dfs/data03
				/dfs/data04

	>> 操作系统
		redhat 6.x /CentOS 6.x
		6.4						6.4
	
>> 系统
	>> IP 地址
		尽可能在同一网段,
		交换机\ 机架Rack
	>> 主机名
		bigdata-cdh01.ibeifeng.com
		bigdata-cdh02.ibeifeng.com
		bigdata-cdh03.ibeifeng.com
		cmd:
			# hostname bigdata-cdh01.ibeifeng.com
			# vi /etc/sysconfig/network
	>> Ip 与 主机名 映射
		# vi /etc/hosts
		注意:
			如果是客户端的机器,也需要添加映射
		>>>禁用IPv6
		# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
		# echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf	
		
	>> 普通用户
			用于安装软件
			# adduser beifeng
			# passwd beifeng
	>> 配置普通用户的sudo权限
		/etc/sudoers
		>>> 写权限
		# chmod u+w /etc/sudoers 
		>>> 添加
		# vi /etc/sudoers 
			内容:
				beifeng ALL=(root)NOPASSWD:ALL
		>>> 收回权限
		# chmod u-w /etc/sudoers 
	>> 防火墙
		关闭
		$ sudo service iptables stop
		$ sudo chkconfig iptables off
		sudo chkconfig --list|grep iptables

	>> Selinux
		禁用
		$ sudo vi /etc/sysconfig/selinux
			内容:
				SELINUX=disabled
	>> 卸载JDK
		$ sudo rpm -qa|grep java
		$ sudo rpm -e --nodeps xxx yyy zzz

	>> 设置文件打开数量和用户最大进程数
		>> 文件打开数量
		$ ulimit -a 
		>> 用户最大进程数
		$ ulimit -u
		>> 设置
		$ sudo vi /etc/security/limits.conf 
			内容:
				* soft nofile 65535
				* hard nofile 65535
				* soft nproc 32000
				* hard nproc 32000 
		
>> 软件
	>> 集群时间同步
	     1. vim /etc/ntp.conf
		·找一台机器作为【时间服务器】


		 2.sudo vim /etc/sysconfig/ntpd
		  添加:   SYNC_HWCLOCK=yes
		
			bigdata-cdh01.ibeifeng.com
		·客户端同步
			定任务
			Linux Crontab