fastchat后端部署实现了非常多的功能

分发/负载

可以实现分发到不同的服务器

asynio.Semaphore

其他

存在问题

vicuna 33b stream解码有问题。