OpenPPL

面对推理部署大语言模型的新需求，我们结合原有 OpenPPL 在深度学习推理的技术和业务实践，正式推出一款专为大语言模型设计的自研高性能推理引擎 —— OpenPPL-LLM。

本文将以深度学习模型推理应用为出发点，对「倚天 710」这款 ARM Server 芯片进行性能方面的实测。

性能优化是程序设计的重要内容，它不仅要求通晓算法功能，编程技能熟练，对环境判断还要准确。算法，或者说算法的某一个程序实现，在能完成它必需的功能以外，最重要的要求就是能在有限的资源支持下，达到足够好的性

自动驾驶与车载系统、机器学习平台与模型训练推理、编译和底层工具以及传统 HPC 异构计算方向大量招人

本文讲述 OpenPPL 如何使用 NVIDIA Triton 提供线上 Serving 的推理部署服务

导读：目前 OpenPPL 在 FP16 精度 T4 GPU 上取得了不错的性能，单 batch 模型的推理性能全面超越 TensorRT 8.0，多 batch 模型的推理性能达到 TensorRT 8.0 的 90%+。 作者：刘宇玺 本文将介绍 OpenPPL 目前开源的...

RISC-V 最近风头正劲，各家都在紧锣密鼓打造基于 RISC-V 指令集的各种处理器。在 AI 热潮的推动下，RISC-V 上面部署 AI 的需求也越发凸显。 同时市场上终于出了带 V 指令的 RVBoards，基于玄铁 C906 架构，我们就...

ppl.cv 是商汤自研的高性能图像处理库，其中包含 OpenPPL 团队在场景落地中总结出的一组常用图像处理和其他 cv 操作，可以在深度学习推理的整个 pipeline 中优化相关的图像预处理部分，与推理引擎 ppl.nn 组合完成...

背景介绍 在网上看到过很多铲屎官发自家猫主子弹钢琴的视频。我们家虽然有一只高贵的猫主子，但是苦于没有钢琴，无法发挥猫主子的艺术天赋。 作为一个合格的铲屎官，委屈谁也不能委屈了自己的猫主子，没有条件也要...