Hadoop

193 阅读1分钟

Hadoop

#### 开启Hadoop
$HADOOP_HOME/sbin/start-all.sh
####  开启 historyserver 
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
####  关闭 historyserver
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver

hadoop会进入安全模式

hadoop dfsadmin -safemode get -> 检查hadoop安全模式的开关状态
hdaoop dfsadmin -safemode enter -> 开启安全模式
hadoop dfsadmin -safemode leave -> 离开安全模式

查看job id

hadoop job -list
####  删掉mapred任务
hadoop job -kill job_201910192208_0003
#### 上传文件到hdfs
hadoop dfs -put 本地文件路径 hdfs路径
####  查看线上文件内容
hadoop fs -ls hdfs路径
hadoop fs -text hdfs文件路径 | head

Hive

####  开启Hive
$HIVE_HOME/bin/hive
#### 启动hive metastore
hive --service metastore  1>/dev/null  2>&1  &
####  hiveserver2
hive --service hiveserver2  1>/dev/null  2>&1  &

Hue

#### 开启hue
supervisor 1>/dev/null  2>&1  &

Spark

#### 开启spark on yarn spark-shell
$SPARK_HOME/bin/spark-shell --master yarn

Zookeeper

#### 开启zookeeper
/usr/local/src/sh/zk.sh start

Kafka

#### 开启kafka
/usr/local/src/sh/kf.sh start

Hbase

#### 开启Hbase
start-hbase.sh