OpenPPL

面对推理部署大语言模型的新需求，我们结合原有 OpenPPL 在深度学习推理的技术和业务实践，正式推出一款专为大语言模型设计的自研高性能推理引擎 —— OpenPPL-LL...

本文将以深度学习模型推理应用为出发点，对「倚天 710」这款 ARM Server 芯片进行性能方面的实测。...

性能优化是程序设计的重要内容，它不仅要求通晓算法功能，编程技能熟练，对环境判断还要准确。算法，或者说算法的某一个程序实现，在能完成它必需的功能以外，最重要的要求就是能在有限...

自动驾驶与车载系统、机器学习平台与模型训练推理、编译和底层工具以及传统 HPC 异构计算方向大量招人...

本文讲述 OpenPPL 如何使用 NVIDIA Triton 提供线上 Serving 的推理部署服务...

导读：目前 OpenPPL 在 FP16 精度 T4 GPU 上取得了不错的性能，单 batch 模型的推理性能全面超越 TensorRT 8.0，多 batch 模型的推...

RISC-V 最近风头正劲，各家都在紧锣密鼓打造基于 RISC-V 指令集的各种处理器。在 AI 热潮的推动下，RISC-V 上面部署 AI 的需求也越发凸显。 同时市场上...

ppl.cv 是商汤自研的高性能图像处理库，其中包含 OpenPPL 团队在场景落地中总结出的一组常用图像处理和其他 cv 操作，可以在深度学习推理的整个 pipeline...

背景介绍 在网上看到过很多铲屎官发自家猫主子弹钢琴的视频。我们家虽然有一只高贵的猫主子，但是苦于没有钢琴，无法发挥猫主子的艺术天赋。 作为一个合格的铲屎官，委屈谁也不能委屈...

本文将对衡量深度学习模型大小的一些常用指标，如计算量、参数量、访存量、内存占用等进行探讨，分析这些指标对模型部署推理的影响，尤其是计算量与访存量对模型推理速度的影响，并给出...

作为 AI 算法部署工程师，日常工作的其中一项就是将训练好的模型部署到设备上。根据业务需求的不同，需要保证推理的速度以及模型的稳定性。 在深度学习推理方面有多种提速方法，如...

深度学习推理框架 OpenPPL 已经开源了，本文以一个图像分类实例，从 0 到 1 讲解如何部署一个深度学习模型，完成一个 AI 推理应用。 最终效果：通过上传一张猫咪照...