OneFlow一流科技

在ChatGPT发布一周年之际，本文旨在提供开源LLM这一成功的全面综述，并全面调研了开源LLM声称已达到或超过ChatGPT水平的任务。...

我们确定了一个最基本的事实：Transformer推理受限于内存，且大部分优化（无论来自MLSys还是建模）都基于/利用了这一事实。...

本文探讨了一系列语言大模型的推理优化技巧，涵盖KV缓存、量化和稀疏性等方法，并分享了如何有效实施这些技术。对于想要优化Transformer模型，以期提升推理速度或效率的人...

目前，微调定制化LLM会耗费工程师的大量时间和精力，而选择合适的微调方法以及掌握相关技巧可以做到事半功倍。...

本文分析了机器学习硬件性能的最新趋势，重点关注不同GPU和加速器的计算性能、内存、互连带宽、性价比和能效等指标。这篇分析旨在提供关于ML硬件能力及其瓶颈的全面视图。...

在近期的一次演讲中，Evan Morikawa分享了OpenAI在ChatGPT发布过程中面临的工程、产品和组织方面经历的挑战以及从中学到的经验和教训。...

本文介绍了如何使用LLMPerf进行基准测试，并提供了一些实用的技巧和建议。此外，本文还对当前最流行的LLM进行了基准测试，并提供了详细的结果和分析。...

本文将介绍如何通过微调/对齐那些更出色的LLaMA-2等开源模型来提升它们的效果，并缩小开源和私有LLM之间的差距。...

本文对比了全参数微调和LoRA，并分析了这两种技术各自的优势和劣势。作者使用了三个真实用例来训练LLaMA 2模型，这提供了比较特定任务的性能、硬件要求和训练成本的基准。...

本文是开源 LLM 发展史系列文章的第二部分。第一部分《开源语言大模型演进史：早期革新》回顾了创建开源 LLM 的最初尝试。本文将研究目前可用的最受欢迎的开源基础模型。...

在LLM领域，开源究竟意味着什么？假设开源社区拥有了真正的开源LLM，其权重、数据集、代码和基础设施都可公开获取，我们又将从中获得哪些重要收益？...

过去十年，由于GPU在深度学习中得到广泛应用而变得极为重要。因此，每位软件工程师都有必要了解其基本工作原理。本文旨在为读者提供这方面的背景知识。...

本文作者Sebastian Raschka通过成百上千次实验，他为使用LoRA和QLoRA对LLM进行微调提供了实用见解，包括节省内存、选择最佳配置等。...

在这篇文章中，MosaicML工程师团队分享了如何在生产环境中充分利用流行开源语言大模型（LLM）的最佳实践。...

本文作者Sam L'Huillier对GPT-3.5与LLaMA 2的微调进行了基准测试，以验证手动微调的模型能否以较低的成本接近GPT-3.5的性能水平，从而帮助用户在各...

尽管业内最初强调专有模型，但随着GPT-3等流行语言模型的发布，LLM研究社区开始发布相关开源变体。...

OpenAI在成本方面的优势，一方面来自规模效应，另一方面来自其基础设施方面的深厚积累。开源LLM提供商要取得成功，必须在这两方面追上甚至超越OpenAI。...

发布某种形式的开源语言大模型已成为机器学习公司实力的象征。最近，Mistral AI 完成资金筹集，发布了一款拥有 70 亿参数的强大语言模型。...

在 Latent Space 的最新一期播客中，Chris Lattner 解释了他为何开发 Modular 与 Mojo，并分享了他所看到的 AI 基础设施软件发展的挑战...

本文作者 Varun Shenoy 在 AI 基础设施公司 Baseten 从事机器学习推理工作，他并不认同当前闭源 AI 垄断的发展态势，在他看来，开源 AI 通过微调可...