【1】快速安装spark服务

问题

快速安装spark服务，并能够执行spark jar任务或者spark sql任务

操作

购买测试服务器，8核心16GB，Centos 7.9 64位系统，开放端口号8080、8081、30177。

安装docker

# 安装docker源
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
sudo sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
sudo yum makecache fast

# 安装docker
sudo yum -y install docker-ce-19.03.9-3.el7 docker-ce-cli-19.03.9-3.el7 containerd.io
sudo systemctl start docker

安装至轻云

docker run --restart=always \
    --name zhiqingyun\
    -p 8080:8080 \
    -d registry.cn-shanghai.aliyuncs.com/isxcode/zhiqingyun:latest-amd64

• 访问地址：xx.xx.xx.xx:8080
• 账号：admin
• 密码：admin123

安装spark节点

1. 添加集群, 资源管理 -> 计算集群

2. 点击集群名称，添加节点

提前安装java环境

sudo yum install java-1.8.0-openjdk-devel java-1.8.0-openjdk -y

推荐使用内网ip，打开默认安装spark选项

点击更多，选择安装操作

点击日志，查看安装进度

3. 查看spark web服务

• 访问spark地址：xx.xx.xx.xx:8081

执行spark sql

1. 新建作业流，数据开发 -> 作业流

选择 SparkSql查询作业，选择 spark集群。

写入测试sql，然后点击运行按钮

create table if not exists users (id INT, name STRING, age INT) using parquet;
insert into users values(1,'张三',13);
select * from users;

查看提交日志

查看查询的数据结果

查看运行日志