python3 + pip安装
Anaconda
Anaconda就是可以便捷获取包且对包能够进行管理，同时对环境可以统一管理的发行版本。Anaconda包含了conda、Python在内的超过180个科学包及其依赖项。
特点
- 开源
- 安装简单
- 高性能使用python和R
- 免费社区
- conda包
- 环境管理器
- 1000 +开源
mongodb安装
用来存储爬虫爬取的结果，以便进行处理爬取的数据存储。mondodb安装可以自行百度进行安装，安装过程比较简单。集群环境以及keyfile之类的后续会有专门的博客进行介绍。
Redis安装
内存数据库，可以用来缓存数据，提高运行效率。
mac下使用：
- brew services start redis
- redis-cli
- redis.conf在/usr/local/etc/目录下
- auth password 登录密码校验
MySql
关系型数据库，用来存储数据。目前在大部分互联网公司中，使用的非常广泛。具体的安装过程，直接google。
pgsql
开源，也有很多大型互联网公司使用。性能不错。
sqlite3
轻量级的本地数据库。如果要支持网络数据库，需要添加网络模块。另外如果要支持集群，需要额外的模块进行支持。
py2和py3同时支持
将python3安装目录下的python可执行文件名字该python3.windows操作系统下会有exe后缀。另外需要将python2和python3所在的目录加入到环境变量path下，即可在命令行下同时使用python2和python3.另外pip2和pip3是同样的。
