前几天在开会的时候，部门大佬回溯了一下上周末项目出现的一个问题，在面对大量的http请求的时候，之前的做法是开多进程多线程去分布式接受然后响应，但是由于没有预估好请求量级，导致大量的请求被堵住，影响了线上的业务。
解决方案：当然多架点服务器，多开点进程线程也能缓解需求，但是为了偶尔的峰值来架多服务器有点浪费~
于是大佬就提出一个东西，协程，说实话，我还没听说过这个东西，之前就知道进程，线程，协程是什么东东。。。
后来开完会我就自己去研究了一下，分享点学习体会给大家
一、进程，线程，协程
进程是应用程序的启动实例，进程拥有代码和打开的文件资源、数据资源、独立的内存空间。
线程从属于进程，是程序的实际执行者，一个进程至少包含一个主线程，也可以有更多的子线程，线程拥有自己的栈空间。
协程（Coroutines）是一种比线程更加轻量级的存在，正如一个进程可以拥有多个线程一样，一个线程可以拥有多个协程。
简单的理解就是： 进程是一个厂，有空间，有各条工作流水线。 线程是一个个的工作流水线，线程之间可以进行工作交流。 协程就是工作人员，只在某条流水线上工作。 协程的工作是这样的，在整条流水线上，有多个工作要做，例如有传送带跟包装带，工作人员在等传送带过来的时候可以进行包装工作，但是等传送带过来的时候就又回去传送带工作。也就是两个函数之间可以交替执行，在某个函数进行等待的时候，可以先去执行另外一个函数。
上面说到的项目遇到的问题，就是线程在执行接受 -> 响应是一步操作，只会等到响应之后再进行下一个消息的接受处理，如果是协程的话可以做到当接受完消息A 等待响应的时候 先进行接受消息B。这样效率就会提高很多。
二、yield 使用
代码借鉴来自https://www.liaoxuefeng.com/wiki/897692888725344/923057403198272
import time
def consumer():
r = ''
while True:
n = yield r
if not n:
return
print('[CONSUMER] Consuming %s...' % n)
time.sleep(5)
r = '200 OK'
def produce(c):
c.next()
n = 0
while n < 5:
n = n + 1
print('[PRODUCER] Producing %s...' % n)
r = c.send(n)
print('[PRODUCER] Consumer return: %s' % r)
c.close()
复制代码python协程的实现主要依赖于yield，上面是两个简单的例子，一个生产者，一个消费者。 当生产者生产消息的时候，会同过send发送给消费者进行消费，消费者消费完再同个yield返回结果给生产者，生产者再进行下个消息的生产。 执行结果如下
三、协程gevent 的使用
直接通过 pip 安装 pip install gevent
def play(name):
for i in range(5):
print('play {} {}'.format(name,i))
time.sleep(1.5)
def play_1(name):
for i in range(5):
print('play_1 {} {}'.format(name ,i))
time.sleep(3)
if __name__=='__main__':
# con = consumer()
# pro = produce(con)
from gevent import monkey
monkey.patch_all()
g1 = gevent.spawn(play,'test1')
g2 = gevent.spawn(play_1,'test2')
gevent.joinall([g1, g2])
复制代码加入 monkey.patch_all() 是为了把标准库中的thread/socket等给替换掉.这样我们在后面使用socket的时候能够跟寻常一样使用,无需改动不论什么代码,可以把它变成非堵塞的了。 或者也可以手动导入gevent.socket。
# 读一次这个文件大概要5s
def eat():
for i in range(5):
print('open_read {}'.format(i))
df = pd.read_excel('test.xlsx')
print('len ',len(df))
time.sleep(2)
def play(name):
for i in range(5):
print('play {} {}'.format(name,i))
time.sleep(1.5)
复制代码执行结果如下
四、总结
简单来说，一个进程内可以包含多个线程运行，如果是多核CPU的就支持多个线程并行，一个线程之内可以开多个协程，但是不管怎么样，多个协程之间是串行的，也就是不管什么时候，线程空间中只有一个协程函数在运行，其他函数则被挂起。
为什么协程效率这么高呢，主要是因为协程的切换是程序之间进行决定的，切换过程只有自己的程序中，这也是跟线程区别的地方，线程切换需要依赖操作系统进行。
我是一只前进的蚂蚁，希望能一起前行。
如果对您有一点帮助，一个赞就够了，感谢！
注：如果本篇博客有任何错误和建议，欢迎各位指出，不胜感激！！！
