首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
OneFlow一流科技
掘友等级
团队
|
一流科技
一流科技OneFlow团队的技术分享账号,专注于深度学习,擅长分布式相关。 ★ OneFlow深度学习框架:github.com/Oneflow-Inc/oneflow ★ OF云平台:oneflow.cloud
获得徽章 7
动态
文章
专栏
沸点
收藏集
关注
作品
赞
48
文章 48
沸点 0
赞
48
返回
|
搜索文章
OneFlow一流科技
团队 @一流科技
·
3月前
关注
ChatGPT一周年:开源语言大模型的冲击
在ChatGPT发布一周年之际,本文旨在提供开源LLM这一成功的全面综述,并全面调研了开源LLM声称已达到或超过ChatGPT水平的任务。...
1
评论
分享
OneFlow一流科技
团队 @一流科技
·
3月前
关注
迈向100倍加速:全栈Transformer推理优化
我们确定了一个最基本的事实:Transformer推理受限于内存,且大部分优化(无论来自MLSys还是建模)都基于/利用了这一事实。...
1
1
分享
OneFlow一流科技
团队 @一流科技
·
3月前
关注
语言大模型的推理技巧
本文探讨了一系列语言大模型的推理优化技巧,涵盖KV缓存、量化和稀疏性等方法,并分享了如何有效实施这些技术。对于想要优化Transformer模型,以期提升推理速度或效率的人...
赞
评论
分享
OneFlow一流科技
团队 @一流科技
·
4月前
关注
LoRA微调语言大模型的实用技巧
目前,微调定制化LLM会耗费工程师的大量时间和精力,而选择合适的微调方法以及掌握相关技巧可以做到事半功倍。...
赞
评论
分享
OneFlow一流科技
团队 @一流科技
·
4月前
关注
机器学习硬件十年:性能变迁与趋势
本文分析了机器学习硬件性能的最新趋势,重点关注不同GPU和加速器的计算性能、内存、互连带宽、性价比和能效等指标。这篇分析旨在提供关于ML硬件能力及其瓶颈的全面视图。...
1
评论
分享
OneFlow一流科技
团队 @一流科技
·
4月前
关注
ChatGPT规模化服务的经验与教训
在近期的一次演讲中,Evan Morikawa分享了OpenAI在ChatGPT发布过程中面临的工程、产品和组织方面经历的挑战以及从中学到的经验和教训。...
赞
评论
分享
OneFlow一流科技
团队 @一流科技
·
4月前
关注
可复现的语言大模型推理性能指标
本文介绍了如何使用LLMPerf进行基准测试,并提供了一些实用的技巧和建议。此外,本文还对当前最流行的LLM进行了基准测试,并提供了详细的结果和分析。...
赞
评论
分享
OneFlow一流科技
团队 @一流科技
·
4月前
关注
开源语言大模型演进史:向LLaMA 2看齐
本文将介绍如何通过微调/对齐那些更出色的LLaMA-2等开源模型来提升它们的效果,并缩小开源和私有LLM之间的差距。...
1
评论
分享
OneFlow一流科技
团队 @一流科技
·
4月前
关注
微调语言大模型选LoRA还是全参数?基于LLaMA 2深度分析
本文对比了全参数微调和LoRA,并分析了这两种技术各自的优势和劣势。作者使用了三个真实用例来训练LLaMA 2模型,这提供了比较特定任务的性能、硬件要求和训练成本的基准。...
3
评论
分享
OneFlow一流科技
团队 @一流科技
·
4月前
关注
开源语言大模型演进史:高质量基础模型竞赛
本文是开源 LLM 发展史系列文章的第二部分。第一部分《开源语言大模型演进史:早期革新》回顾了创建开源 LLM 的最初尝试。本文将研究目前可用的最受欢迎的开源基础模型。...
赞
评论
分享
OneFlow一流科技
团队 @一流科技
·
5月前
关注
为什么开源语言大模型很重要?
在LLM领域,开源究竟意味着什么?假设开源社区拥有了真正的开源LLM,其权重、数据集、代码和基础设施都可公开获取,我们又将从中获得哪些重要收益?...
1
评论
分享
OneFlow一流科技
团队 @一流科技
·
5月前
关注
GPU架构与计算入门指南
过去十年,由于GPU在深度学习中得到广泛应用而变得极为重要。因此,每位软件工程师都有必要了解其基本工作原理。本文旨在为读者提供这方面的背景知识。...
1
评论
分享
OneFlow一流科技
团队 @一流科技
·
5月前
关注
LoRA和QLoRA微调语言大模型:数百次实验后的见解
本文作者Sebastian Raschka通过成百上千次实验,他为使用LoRA和QLoRA对LLM进行微调提供了实用见解,包括节省内存、选择最佳配置等。...
2
评论
分享
OneFlow一流科技
团队 @一流科技
·
5月前
关注
语言大模型推理性能工程:最佳实践
在这篇文章中,MosaicML工程师团队分享了如何在生产环境中充分利用流行开源语言大模型(LLM)的最佳实践。...
1
评论
分享
OneFlow一流科技
团队 @一流科技
·
5月前
关注
全面对比GPT-3.5与LLaMA 2微调
本文作者Sam L'Huillier对GPT-3.5与LLaMA 2的微调进行了基准测试,以验证手动微调的模型能否以较低的成本接近GPT-3.5的性能水平,从而帮助用户在各...
1
评论
分享
OneFlow一流科技
团队 @一流科技
·
5月前
关注
开源语言大模型演进史:早期革新
尽管业内最初强调专有模型,但随着GPT-3等流行语言模型的发布,LLM研究社区开始发布相关开源变体。...
1
评论
分享
OneFlow一流科技
团队 @一流科技
·
6月前
关注
OpenAI的规模化经济效益与第二护城河
OpenAI在成本方面的优势,一方面来自规模效应,另一方面来自其基础设施方面的深厚积累。开源LLM提供商要取得成功,必须在这两方面追上甚至超越OpenAI。...
赞
2
分享
OneFlow一流科技
团队 @一流科技
·
6月前
关注
开源语言大模型的正确姿势
发布某种形式的开源语言大模型已成为机器学习公司实力的象征。最近,Mistral AI 完成资金筹集,发布了一款拥有 70 亿参数的强大语言模型。...
1
1
分享
OneFlow一流科技
团队 @一流科技
·
6月前
关注
LLVM之父Chris Lattner:我的AI基础设施软件构建理念
在 Latent Space 的最新一期播客中,Chris Lattner 解释了他为何开发 Modular 与 Mojo,并分享了他所看到的 AI 基础设施软件发展的挑战...
1
评论
分享
OneFlow一流科技
团队 @一流科技
·
6月前
关注
为什么开源大模型终将胜出?
本文作者 Varun Shenoy 在 AI 基础设施公司 Baseten 从事机器学习推理工作,他并不认同当前闭源 AI 垄断的发展态势,在他看来,开源 AI 通过微调可...
2
1
分享
下一页
个人成就
优秀创作者
文章被点赞
834
文章被阅读
355,501
掘力值
10,169
关注了
5
关注者
255
收藏集
0
关注标签
7
加入于
2021-12-13