这里我们先摆上需要的安装包的链接
链接：pan.baidu.com/s/12v6dd8dP…
提取码：q4ea
在本次学习中，我使用了三台虚拟机来进行spark的学习， 这三台虚拟机的ip分别为：
node1： 192.168.88.161
node2： 192.168.88.162
node3： 192.168.88.163
网关都为： 192.168.88.2
接下来就是本次搭建spark环境的全部操作：
- 将spark-3.1.2-bin-hadoop3.2.tgz包上传到node1中的/export/software中
- 将spark-3.1.2-bin-hadoop3.2.tgz解压到node1中的/export/server中
tar xzvf /export/software/spark-3.1.2-bin-hadoop3.2.tgz -C /export/server
- 将Anaconda3-2021.05-Linux-x86_64.sh上传到node1中的/export/software中, 并传入到node2和node3中
-- 同理使用上图中的方法传入Anaconda3-2021.05-Linux-x86_64.sh文件, 这里不做过多演示
-- 这里主要演示如何将node1中的文件传入到node2和node3中
scp Anaconda3-2021.05-Linux-x86_64.sh root@node2:$PWD
scp Anaconda3-2021.05-Linux-x86_64.sh root@node3:$PWD
- 在三台虚拟机上都安装anaconda
sh /export/software/Anaconda3-2021.05-Linux-x86_64.sh
在安装的过程中, 凡是出现了需要你选择yes or no的地方全都选择yes, 使用sh安装文件需要你回车将很长一大段话看完, 这里使用q则可以跳过
- 在node1上创建环境
conda create -n test python=3.11
这里会出现问题, 报错 conda: command not found
解决方案:
conda config --set auto_activate_base false
vim ~/.bashrc
-- 将光标移动到最后, 按I进入添加模式, 并添加这一行
export PATH="/root/anaconda3/bin:$PATH"
-- 改好之后, 按Esc, :wq 保存并退出vim编辑
source ~/.bashrc
至此, 即可解决上述问题。
接下来是我总结的一些anaconda 的常用命令:
安装库:
conda install 包名
pip install -i 镜像地址 包名
pip install -i https://mirrors.ustc.edu.cn/pypi/web/simple pyspark
卸载库:
conda uninstall 包名
pip uninstall 包名
设置 anaconda下载的库的镜像地址:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
#设置搜索时显示通道地址
conda config --set show_channel_urls yes
如何使用anaconda构建虚拟(沙箱)环境:
1- 查看当前有那些虚拟环境:
conda env list
2- 如何创建一个新的虚拟环境
conda create 虚拟环境名称 python=版本号
例如: 创建一个pyspark_env 虚拟环境
conda create -n pyspark_env python=3.8
例如: 创建一个itcast 虚拟环境
conda create -n itcast python=3.11
3- 如何进入虚拟环境(激活)
conda activate pyspark_env
或者
source activate pyspark_env
4- 如何退出虚拟环境:
conda deactivate
或者
deactivate pyspark_env
conda主要作用是创建和管理虚拟环境（沙箱sandbox环境）
pip安装卸载python的包
