平台组件

hive部分

msyql

1.删除MariaDB

rpm -aq | grep mariadb  --查询是不是安装软件
rpm -e --nodeps mariadb-libs  --删除mariadb

2.安装依赖

yum install perl -y
yum install net-tools -y

3.安装MySQL

tar xvf + MySQL压缩包

rpm -ivh mysql-community-common-5.7.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.26-1.el7.x86_64.rpm  --force --nodeps

4.启动数据库

systemctl start mysqld

5.查找数据库密码

grep password /var/log/mysqld.log

7**.修改 root 口令**

# 进入MySQL，使用前面查询到的口令
mysql -u root -p

# 设置口令强度；
set global validate_password_policy=0;

# 将root口令设置为12345678；
set password for 'root'@'localhost' =password('12345678');

# 刷新
flush privileges;

8.创建root

-- 创建用户设置口令、授权、刷新
CREATE USER 'hive'@'%' IDENTIFIED BY '12345678';
GRANT ALL ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;

hive

1.下载hive，并且压缩

tar -zxvf +hive压缩包 
mv hive压缩包 hive

2.修改环境变量

# 在 /etc/profile 文件中增加环境变量
export HIVE_HOME=/opt/lagou/servers/hive-2.3.7
export PATH=$PATH:$HIVE_HOME/bin
# 执行并生效
source /etc/profile

3.修改配置文件

vim hive-site.xml


<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://linux123:3306/hive?useSSL=false</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hive</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>12345678</value>
	</property>
</configuration>

4.拷贝 MySQL JDBC 驱动程序

cp mysql-connector-java 到hive/lib

5.初始化元数据库

schematool -dbType mysql -initSchema

6.启动Hive，执行命令

# 启动hive服务之前，请先启动hdfs、yarn的服务
[root@linux123 ~]$ hive  # 进入hive命令
hive> show functions;  # 在hive中执行命令

题外

显示当前库
<property>
    <!-- 在命令行中，显示当前操作的数据库 -->
    <name>hive.cli.print.current.db</name>
    <value>true</value>
    <description>Whether to include the current database in the Hive prompt.</description>
</property>

<property>
    <!-- 在命令行中，显示数据的表头 -->
    <name>hive.cli.print.header</name>
    <value>true</value>
</property>

spark

scala

在安装spark前先安装scala

1.解压scala

tar -zxvf scala-2.13.0.tgz

2.配置环境变量

vim /etcprofile
export SCALA_HOME=/opt/scala
export PATH=$PATH:$SCALA_HOME/bin
source /etc/profile

spark

1.解压spark

tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz
mv spark-2.4.3-bin-hadoop2.7/ spark-2.4.3

2.修改配置文件vim spark-env.sh

vim spark-env.sh

HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
YARN_CONF_DIR=/opt/hadoop/etc/hadoop

3.修改hadoop/etc/hadoop/yarn-site.xml

  <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
 <property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
 </property>

4.分发到别的集群机上

scp -r hadoop/etc/hadoop slave1:/opt/hadoop/etc/hadoop
scp -r hadoop/etc/hadoop slave2:/opt/hadoop/etc/hadoop

5.启动全部节点

start-all.sh

6.使spark-shell运行在yarn上面

spark-shell --master yarn

7.测试spark集群命令

./spark-submit --class org.apache.spark.examples.SparkPi --master yarn ../examples/jars/spark-examples_2.12-3.1.1.jar 

hbase

1.解压安装

tar -zxvf /opt/hbase
mv hbase hbase

2.配置环境变量

vim /etc/profile

export HBASE_HOME=/opt/hbase
export PATH=$PATH:$HBASE_HOME/bin

3.配置vim /usr/local/hbase/conf/hbase-env.sh文件

vim /usr/local/hbase/conf/hbase-env.sh

export JAVA_HOME=/opt/jdk
export HBASE_CLASSPATH=/opt/hbase/conf/
export HBASE_MANAGES_ZK=true

4.配置/usr/local/hbase/conf/hbase-site.xml

vim /usr/local/hbase/conf/hbase-site.xml

<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://localhost:9000/hbase</value>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
    </property>
</configuration>

5.启动Hadoop跟hbase

start-all.sh --启动Hadoop
start-hbase.sh  --启动hbase

全部的启动命令

start-all.sh  --启动Hadoop
systemctl start mysqld  --启动MySQL
spark-shell --master yarn  --启动spark
bin/hive --service metastore &  hive服务器启动命令