Bert模型网络结构较深，参数量庞大，将Bert模型部署成在线服务在实时性和吞吐上面临巨大挑战。本文主要介绍360搜索将Bert模型部署成在线服务的过程中碰到的一些困难以及做的工程方面的优化。 在360搜索场景下对在线Bert服务的延迟和吞吐有极高的要求。经过前期的调研探索和试…