ayyHA

掘金宠粉功能 AI 刷题再次升级！欢迎报名参加 AI 刷题打卡活动，AI 编程助手携丰厚能量包已就位，完成任务即可领取！

最近我们在生产环境批量部署了大模型专用推理集群，并成功让包括70B在内的大模型推理速度提升50%，大幅缩减部署成本，稳定应用于生产环境。

由于 GPU 资源稀缺和昂贵，一定程度上使得大模型的应用和普及变得困难。因此，本文从大模型推理部署出发，介绍了一些低硬件成本（消费级GPU、CPU等）部署大模型的方法，并着重介绍了低显存推理优化技术O

图形处理器通用计算(GPGPU)是指利用GPU来计算原本由CPU处理的通用计算任务。由于现代GPU拥有强大的并行处理能力，通用GPU在面对矩阵乘法、卷积等大量并行的计算密集型算法时，性能远远超越了传统

在前文中，我们介绍了PipeDream的总体架构和Profile阶段，本文我们继续介绍计算分区阶段。

在编程和软件开发这个不断演变的领域中，对效率和生产力的追求催生了许多卓越的创新。其中一个显著的创新就是代码生成模型的出现，如 Codex、StarCoder 和 Code Llama。这些模型在生成类

最近，编程领域又一个黑马忽然冲进了开发者们的视野并正式开放下载。 它的名字叫Mojo，相信有不少小伙伴最近也看到了。 Mojo是为AI开发者所准备的编程语言，语法有点像Python。 根据Mojo官网

七夕来了，让我看看不发文章的都在干嘛🎀🎀🎀🎀🎀🎀🎀🎀🎀我猜.......不可能是...... 今天继续为大家带来深度学习模型部署篇——从0部署深度学习分类模型

大家都知道，云服务器首年费用往往非常便宜，但是续费就非常贵了。对于个人开发者而言，花点小钱买个云服务器学习无可厚非，但是续费的话成本就有点高了。