Ctrl+Shift+上下键 上下移动代码
Ctrl+Alt+ left/right 返回至上次浏览的位置
Ctrl+X 删除行
Ctrl+D 复制行
Ctrl+/ 或 Ctrl+Shift+/ 注释(// 或者/*...*/ )
Ctrl+Alt+O 优化导入的类和包
Alt+Insert 生成代码(如get,set方法,构造函数等) 或者右键(Generate)
fori/sout/psvm + Tab
Ctrl+Alt+T 生成try catch 或者 Alt+enter
CTRL+ALT+T 把选中的代码放在 TRY{} IF{} ELSE{} 里
Ctrl + O 重写方法
Ctrl + I 实现方法
Ctr+shift+U 大小写转化
ALT+回车 导入包,自动修正
ALT+/ 代码提示
CTRL+J 自动代码
Ctrl+Shift+J,整合两行为一行
CTRL+空格 代码提示
CTRL+SHIFT+SPACE 自动补全代码
CTRL+ALT+L 格式化代码
CTRL+ALT+I 自动缩进
CTRL+ALT+O 优化导入的类和包
ALT+INSERT 生成代码(如GET,SET方法,构造函数等)
CTRL+E 最近更改的代码
CTRL+ALT+SPACE 类名或接口名提示
CTRL+P 方法参数提示
CTRL+Q,可以看到当前方法的声明
Shift+F6 重构-重命名 (包、类、方法、变量、甚至注释等)
Ctrl+Alt+V 提取变量
-
1.
-
2.
-
3.
-
4.
-
5.
-
6.
-
7.
-
8.
-
9.
-
10.
-
11.
-
12.
企业:
第一个方面:
数据分析
第二个方面:
数据检索
基本组件:
* Zookeeper
分布式协作框架
节点数目
测试集群:3 个
生产集群:
>> 小型集群, 3 个或者 5个
>> 中型机群,5 个 或者 7个
>> 大型机群, 奇数个
* HDFS
存储海量数据
* YARN
集群资源管理
资源调度
* MapReduce
并行计算框架
思想:
分而治之
分:map
合:reduce
集群大小:
>>> 测试集群
机器数量:
5 台 - 10 台
机器配置:
>> 内存:24 G / 32 以上
>> 硬盘:4 TB 以上
>> CPU 核:6 核CPU 以上
>> 网卡:万兆
>>> 生产集群
>> 小型集群
机器数量:
20 台以下
>> 中型机群
50 台以下
>> 大型机群
50 台以上
============================Hadoop 发行版本================================
>> Apache
>> CDH
Cloudera公司
只支持64位操作系统
安装
>> tar 包
http://archive.cloudera.com/cdh5/cdh/5/
>> rpm 包
http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/
>> parcels 包
cdh 4.1.2 以后才有的
官方推荐的安装方式
Cloudera Manager进行安装
>> HDP
Hortonworks
公司版本:
apache -> cdh | hdp
面试题:
apache与cdh的比较??为什么选择了cdh???
>>>>>>>>>>>>>>>>>>>>集群环境准备>>>>>>>>>>>>>>>>>>>>
>> 机器
>> 磁盘阵列
RAID 0 RAID1 JBOD
RAID 1
两块磁盘映射为一块磁盘使用。
CentOS 6.4版本,其中一块磁盘损坏,不会影响系统
JBOD
DataNode存储数据推荐的方式
/dfs/data01
/dfs/data02
/dfs/data03
/dfs/data04
>> 操作系统
redhat 6.x /CentOS 6.x
6.4 6.4
>> 系统
>> IP 地址
尽可能在同一网段,
交换机\ 机架Rack
>> 主机名
bigdata-cdh01.ibeifeng.com
bigdata-cdh02.ibeifeng.com
bigdata-cdh03.ibeifeng.com
cmd:
# hostname bigdata-cdh01.ibeifeng.com
# vi /etc/sysconfig/network
>> Ip 与 主机名 映射
# vi /etc/hosts
注意:
如果是客户端的机器,也需要添加映射
>>>禁用IPv6
# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
# echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf
>> 普通用户
用于安装软件
# adduser beifeng
# passwd beifeng
>> 配置普通用户的sudo权限
/etc/sudoers
>>> 写权限
# chmod u+w /etc/sudoers
>>> 添加
# vi /etc/sudoers
内容:
beifeng ALL=(root)NOPASSWD:ALL
>>> 收回权限
# chmod u-w /etc/sudoers
>> 防火墙
关闭
$ sudo service iptables stop
$ sudo chkconfig iptables off
sudo chkconfig --list|grep iptables
>> Selinux
禁用
$ sudo vi /etc/sysconfig/selinux
内容:
SELINUX=disabled
>> 卸载JDK
$ sudo rpm -qa|grep java
$ sudo rpm -e --nodeps xxx yyy zzz
>> 设置文件打开数量和用户最大进程数
>> 文件打开数量
$ ulimit -a
>> 用户最大进程数
$ ulimit -u
>> 设置
$ sudo vi /etc/security/limits.conf
内容:
* soft nofile 65535
* hard nofile 65535
* soft nproc 32000
* hard nproc 32000
>> 软件
>> 集群时间同步
1. vim /etc/ntp.conf
·找一台机器作为【时间服务器】
2.sudo vim /etc/sysconfig/ntpd
添加: SYNC_HWCLOCK=yes
bigdata-cdh01.ibeifeng.com
·客户端同步
定任务
Linux Crontab