最近看到了一个网站的音乐,想把都爬下来,决定用scrapy,开始scrapy的学习之路
virtualenv环境
看网上说要隔离环境比较好,所以选择安装virtualenv ,安装使用如下命令
# 隔离Python环境的工具
sudo pip3 install virtualenv
# 便于使用和管理 virtualenv
sudo pip3 install virtualenvwrapper
安装后配置~/.bash_profile,添加配置
export WORKON_HOME=$HOME/.virtualenvs
export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
export PROJECT_HOME=$HOME/Devel
source /usr/local/bin/virtualenvwrapper.sh
配置完让配置生效
source ./bash_profile
创建环境
mkvirtualenv -p python3 env_scrapy
附:virtualenv的基本命令
virtualenv 虚拟环境名字 //创建的环境在cmd打开的路径
pip3 show virtualenv 查看详细信息 版本
常用虚拟机的操作
mkvirtualenv xxx 创建xxx虚拟环境
workon 查看当前所有环境
workon xxx 进入xxx虚拟环境
deactivate 退出虚拟环境
rmvritualenv xxx 删除虚拟环境
cdvirtualenv 进入虚拟环境所在目录
安装scrapy
pip3 install scrapy
安装完成,接下来就是开始scrapy的使用了