随着智能穿戴设备，工控机以及一些终端设备的发展。在终端上做一些小型推理的需求迫在眉睫. 需要一个应用服务框架，用于在服务器、个人电脑和边缘设备上的 GPU 上运行 GenAI 模型（例如LLM、语音转