Python 网站应用从开发到部署

571 阅读5分钟

本文大致说下一个网站从开发到部署的流程,里面会提及用到的或者可能会被用到的技术,这些东西在平时用到的也比较多,所以应该能给后端学习提供一些具体的参考。

1 网站开发

这里我建立一个简单的 Flask 应用,让它能处理简单的请求。

新建项目目录 flask_app

$ mkdir flask_app

切到项目目录

$ cd flask_app

使用 Pipenv 为项目初始化一个 Python 3.6 的环境

$ pipenv --python 3.6.0

如果报类似下面的错误

Warning: Python 3.6 was not found on your system...

可参考 3.3 小节的内容解决。

如果需要查看虚拟环境所在目录,可以使用下面的命令

$ pipenv --venv

安装 Flask

$ pipenv install flask==1.0.2

可能会出现类似下面的问题

TypeError: 'module' object is not callable

这是由于 pip 版本导致,安装这个版本就行了

$ pipenv run pip install pip==18.0

然后重新装下 Flask 就 OK 了。

新建文件 app.py

from flask import Flask
app = Flask(__name__)


@app.route('/', defaults={'query_path': 'index'})
@app.route('/<path:query_path>')
def match_path(query_path):
    return f'Query path: {query_path}'

到这里,应用就建立好了,我们运行测试一下。

为了方便,我们使用下面的命令进入虚拟环境

$ pipenv shell

如果后面需要退出该虚拟环境,可以这样

$ exit

然后

$ export FLASK_APP=app.py
$ flask run -h 0.0.0.0 -p 8080

最后在浏览器中访问 http://127.0.0.1:8080/book/1,看到如下内容

Query path: book/1

说明应用已经 OK。

涉及技术:

  • Flask,基于 Werkzeug 和 Jinja 的微框架。
  • Pipenv,整合了 virtualenv 和 pip,为虚拟环境和包管理提供了极大的方便,入门的话可以看下我之前的这篇文章《Pipenv 快速上手》。

后续开发可能用到的

  • Requests,网络资源请求工具。
  • SQLAlchemy,操作数据库的工具包。
  • Celery,分布式任务队列。

2 代码管理

为了解决多人协作、版本回溯等问题,我们需要一个代码管理工具,这里我们使用 Git。

下面演示将本地代码保存到 GitHub,当然,如果是公司等私有项目的话,你可以使用 GitHub 付费服务或者自建托管服务。

首先在项目目录下初始化一个 Git 仓库

$ git init

添加忽略文件 .gitignore,将 IDE 配置文件忽略(根据你自己的情况进行配置)

.idea/

将当前代码提交到版本库

$ git add .
$ git commit -m "init"

然后登陆 GitHub 新建一个空的仓库 flask_app,复制其 SSH 地址,将其添加到本地客户端中

$ git remote add origin git@github.com:kevinbai-cn/flask_app.git

最后提交代码到仓库

$ git push origin master

如果其它项目成员需要使用项目或者要在服务器上进行部署,克隆一份代码即可

$ git clone git@github.com:kevinbai-cn/flask_app.git

涉及的技术

  • Git,分布式版本控制软件。上面的例子只是让大家有个大致的印象,忽略了不少细节,比如提交代码到仓库时,可能会提示你没有权限,这时你就需要去进行 SSH Key 的配置。如果想将 Git 用得比较顺手的话,对版本库、分支、标签等概念要有一定理解,这不在本文的说明范围内,推荐大家去看下廖雪峰的 Git 教程,百度/谷歌相应关键字就能找到。

后续开发可能用到的

  • Git 工作流程,其实就是对 Git 的使用做了一些规范建议,能让开发者更好的协同工作。目前有三种流程使用的比较多:Git flow、Github flow、Gitlab flow,有需要的可以看下阮一峰的 Git 工作流程相关的文章,同样,百度/谷歌相应关键字就能找到。

3 项目部署

这里我使用 Flask + Gunicorn(独角兽) + Nginx 的方式进行部署。

有的人可能会疑惑,Gunicorn 裸跑就能提供服务了,为什么还要加一层 Nginx 呢?我的考虑主要有负载均衡、静态文件缓存、IP 访问频率控制等,相对来说,Nginx 作为服务器支持得更全面一些。

注意:当前服务器系统为新装的 Ubuntu 16.04,有些需要使用的软件会安装一次,所以记录得稍细一点

3.1 Pipenv 安装

由于系统已经有了 pip,我们将 pipenv 安装至我们的用户目录

# pip install --user pipenv

查看用户基础目录

# python -m site --user-base
/root/.local

pipenv 安装后就在 /root/.local/bin 目录下,将其添加到 Path 中,打开 /root/.bashrc

# vim /root/.bashrc

在最后添加

export PATH=$PATH:/root/.local/bin

让配置生效

# source /root/.bashrc

测试一下 pipenv 是否能找到

# pipenv --version
pipenv, version 2018.7.1

OK,至此安装完成。

3.2 Git 安装与配置

使用 apt 进行安装

# apt update
# apt install git

Git 配置用户名与邮箱

# git config --global user.name "kevinbai"
# git config --global user.email "kevinbai.cn@gmail.com"

生成 SSH key,键入下面的命令,一路回车就行

# ssh-keygen -t rsa -C "kevinbai.cn@gmail.com"

执行时,你会看到 Key 保存的位置,一般是在 ~/.ssh 目录下。

然后在 GitHub 上配置 SSH 公钥:settings -> SSH and GPG keys -> New SSH key,Title 可以随意填写,比如我填的 server-ssh-rsa,Key 填写 .ssh/id_rsa.pub 中的内容,之后保存就 OK 了。

3.3 克隆项目以及依赖包安装

克隆项目代码到服务器

# mkdir -p /data/htdocs
# cd /data/htdocs
# git clone git@github.com:kevinbai-cn/flask_app.git

依赖包安装

# cd flask_app
# pipenv install

发现报下面的错误

Warning: Python 3.6 was not found on your system...

我们需要先安装 Python 3.6,为了方便,我们使用 pyenv。

安装 pyenv

# curl -L https://raw.github.com/yyuu/pyenv-installer/master/bin/pyenv-installer | bash

打开 ~/.bashrc

# vim ~/.bashrc

在最后添加

export PATH="/root/.pyenv/bin:$PATH"
eval "$(pyenv init -)"
eval "$(pyenv virtualenv-init -)"

让配置生效

# source ~/.bashrc

安装 Python 3.6.0

# pyenv install 3.6.0

如果构建出错,一般是基础工具不全的问题,使用下面命令进行安装,然后再试一次就行了

# apt install make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev

重新安装依赖包

# pipenv install

3.4 Gunicorn 安装以及启动

这里我不打算将 gunicorn 写入 Pipfile,所以使用下面的命令进行安装

# pipenv run pip install gunicorn==19.9.0

而不用

# pipenv install gunicorn==19.9.0

测试一下,看能不能正常运行

# pipenv run gunicorn -w 5 -b 0.0.0.0:8080 app:app -D

回车后没有报错,说明启动成功。

3.5 Nginx 安装以及配置

安装 Nginx

# apt install nginx

备份默认配置

# cp /etc/nginx/sites-available/default /etc/nginx/sites-available/default.bak

打开配置文件

# vim /etc/nginx/sites-available/default

文件内容修改为

server {
    listen 80;
    server_name _;

    location / {
        proxy_pass http://127.0.0.1:8080;
        proxy_redirect     off;
        proxy_set_header   Host                 $http_host;
        proxy_set_header   X-Real-IP            $remote_addr;
        proxy_set_header   X-Forwarded-For      $proxy_add_x_forwarded_for;
        proxy_set_header   X-Forwarded-Proto    $scheme;
    }
}

启动 Nginx

# /etc/init.d/nginx start

如果需要关闭,使用下面的命令

# /etc/init.d/nginx stop

然后浏览器访问 http://your_ip,如果看到下面内容

Query path: index

则部署成功。

需要注意的是,如果是阿里云的 ECS 服务器,需要在控制台中去设置安全规则才能访问指定端口。

涉及技术:

  • Linux 常用命令。不管是在服务器上进行操作还是在本地开发时,掌握一些常用的命令或工具是必要的,比如 chown、chmod、grep、find、ps、tar、vim 等。
  • WSGI,为方便网站应用部署到服务器而定义的规范。我之前写了一篇相关的文章《说说我对 WSGI 的理解》,有兴趣的可以去看下。
  • Gunicorn,一个 Python WSGI UNIX HTTP服务器。很多团队都在使用,最好熟悉一下常用的配置,如果能深入源码学习,那就更厉害了。
  • Nginx,Web 服务器,可以用作负载均衡和 HTTP 缓存等。熟悉它的常用的一些配置是很有必要的。

后续开发可能用到的

  • Docker,解决了开发和线上环境不统一以及虚拟机占用资源高的问题。现在基本上都在使用这种方式进行线上部署,对于一个厉害的开发者来说,这个也是需要掌握的。不过,前期的学习重心还是放在应用开发相关的库或者框架上较好,这一块先有一个大致的了解,有空再进一步学习。

4 参考

https://jiayi.space/post/flask-gunicorn-nginx-bu-shu

本文首发于公众号「小小后端」。