弹性算力+训推一体，PPIO 如何助力极豆实现 LLM 微调？
大模型落地企业应用场景，“微调”往往是一个不可或缺的阶段。
微调（fine-tuning），即利用特定任务的数据集来进一步训练模型。这种针对性的微调训练能够使模型更加专注于目标任务的特征，从而提高其在特定任务上的准确性和效率。
然而，模型微调是一门精细化的工程，对基础模型本身的性能、数据集以及微调的“手艺”都提出了挑战。
在这一背景下，全球知名的汽车软件及服务商「极豆」，基于 PPIO 提供的 LLM Model API 及训推一体微调工具集，实现车载语音助手的大模型升级，提升效率，降低成本。
PPIO 提供领先的 Model API（开源/闭源）、Sandbox 等产品。如果你有相关需求，可以联系我们；如果你是新用户，在PPIO网站用邀请码【LYYQD1】注册可得15元代金券：ppio.com/user/regist…
-
大模型微调的痛点
极豆是一家服务于全球中高端车企的汽车软件及服务商，为车企提供智能网联汽车软件及数字化服务完整解决方案，全球签约车辆超 4000 万辆，运营数据行业第一。
当大模型时代来临，极豆也积极拥抱 AI 时代，探索将大模型技术应用到旗下产品线中。其中，车载语音助手就是其中一个人机交互的高频对话场景，非常适合用大模型做智能化的升级。
作为模型应用方，极豆并不需要从头训练大模型，而是以业内成熟的模型为底座，加入自建的汽车行业数据集，通过微调得到一个专有模型即可。
在落地过程中，极豆遇到了很棘手的挑战。
极豆一开始选择闭源模型作为模型底座，虽然微调过程简单，但模型的灵活性、可控性都非常有限，而且微调与推理过程都要收费，综合成本非常昂贵。
后来极豆选择以开源模型为底座，自行搭建微调流程。这一过程需要一定的算力支撑，导致租赁 GPU 的费用较大，且无法保证长期租赁。而且，验证多个微调模型需要启动多个实例，这带来了额外的训练成本。
同时，极豆微调后的模型上线后，对外提供推理服务，业务请求高峰和低峰分界明显，用户请求在不同时间差别巨大且会激增，这使得资源分配与用户体验面临巨大的挑战。
于是，寻找可靠、低成本的模型微调解决方案，成为了极豆亟需的问题。
-
弹性算力+训推一体
在了解了极豆的业务痛点之后，PPIO 为其提供了一套高效、低成本的模型微调解决方案。
首先，通过测试对比 PPIO 平台的开源模型与极豆原先使用的模型效果与单位价格，极豆将基座模型整体迁移到性价比更高的 PPIO 平台，后者的模型性能与稳定性都有所保证。
其次，PPIO 使用 LLM 训推一体微调工具集，协助极豆快速低成本验证微调效果。PPIO 使用一个实例同时支持基础模型和微调模型。
在算力的支撑上，PPIO 利用历史经验和测试数据，以及强大的供应链资源，帮助极豆选择和其模型相匹配的高性价比 GPU，稳定地为其提供 GPU 资源，保证其模型效果稳定迭代优化。
同时，依托于丰富的分布式计算技术、算力网络调度经验和算法积累，PPIO 采用按需计费的弹性算力，依据 GPU 实际使用时长进行精准计费，在业务高峰时段自动扩展资源，在业务低峰时段可充分利用较低成本的算力资源。
最终，极豆的车载语音助手大大提升了效率，降低了推理成本。
-
关于 PPIO
PPIO 是中国领先的独立分布式云计算服务商，由 PPTV 创始人、前蓝驰创投投资合伙人姚欣和前 PPTV 首席架构师王闻宇于2018年联合创立，致力于为人工智能、智能体、实时音视频处理、具身智能等新一代场景，提供极致⾼性价⽐、超弹性、低延迟的⼀站式智算、模型及边缘计算服务。 根据 CIC (China lnsights Consultancy) 的资料，按2024年收入计，PPIO 是中国最大的独立边缘云公司，运营着中国最大的算力网络。按日均 tokens 消耗量计，在中国独立 AI 云公司中位列前二名。
