2026 年 4 月, RWKV-7 G1f 系列推理模型开源发布,目前已发布 G1f 13.3B/7.2B/2.9B/1.5B 模型。
RWKV 模型名称的 G1a/G1c/G1f 等等代表训练数据的版本。您可在同一参数规模下,选择日期最新的模型,以获得最佳效果。
Uncheatable Eval 评测
Uncheatable Eval 使用最新的代码/论文/维基/新闻/小说等实时数据,测试压缩率(“压缩即智能”),评估基底语言模型的真实语言建模能力和泛化能力。
新版 Uncheatable Eval 提升测试难度,加入更多 github 和 arxiv 数据,且增加了测试文本长度。
我们发现,RWKV 系列模型在 uncheatable eval 的成绩随时间持续提升。因此,我们可以持续按月发布最新、最强的模型。
模型实战
通过添加更多高质量训练数据,RWKV7 G1f 增强了所有领域能力。先测试编程:
以下测试均基于 RWKV7 G1f 7.2B 模型
生成 2D 场景,prompt: 生成一个web版的2D射击游戏,我可以控制战机左右移动,躲避敌方不断坠落的战机和子弹。生成效果:
生成 3D 场景,prompt:使用 Three.js 创建一个简单 3D 房间,用户可以用 WASD 控制摄像机在房间里移动。生成效果:
生成一个 rmsnorm 的 triton 算子:
日常问答:多学科分析问题
创作:高考作文
注意 G1f 系列依然是纯预训练的基底模型,未经任何后训练,现有案例不代表模型的最终性能。
模型下载
下载 RWKV7 G1f 系列 模型(.pth 格式):
- Hugging Face:huggingface.co/BlinkDL/rwk…
- 魔搭:modelscope.cn/models/RWKV…
- Wisemodel:wisemodel.cn/models/rwkv…
其他格式:
- 下载 Ollama 格式:ollama.com/mollysama/r…
- 下载 gguf 格式:modelscope.cn/collections…
RWKV G1-GGUF 系列模型近 30 天收获了近 2500 次模型下载(无刷榜),收获用户好评。(左边的部分是后台监控漏统计了这段日期的具体每天下载,我们将期间的总下载量按日期摊平到每天。)
如何使用 RWKV 模型
在线体验
魔搭平台在线 demo:
- G1f 13.3b(续写模式):www.modelscope.cn/studios/Bli…
- G1f 7.2B(续写模式):www.modelscope.cn/studios/Bli…
Hugging Face 平台在线 demo:
- G1f 7.2B(续写模式):huggingface.co/spaces/Blin…
- G1f 2.9B(续写模式):huggingface.co/spaces/Blin…
移动端(支持高并发)
我们也开源了 RWKV Chat,一款端侧推理 APP。RWKV Chat 是基于 RWKV 模型的离线 AI 对话应用,无需联网也能深度思考和并行推理。
下载 RWKV Chat:rwkv.halowang.cloud/
使用移动端 SoC,RWKV Chat 可实现最高 8 路并发。这是同时用 6 种不同风格回答问题的例子:
除了 G1f 语言模型,RWKV Chat 也提供 VL 和 TTS 模型。效果预览:
⚠️ 注意:当前 RWKV Chat APP 处于 demo 阶段,非正式上线应用,仅用于快速体验 RWKV 模型。
本地部署(高并发推理引擎)
推荐使用目前最快的推理方式 Albatross:https://github.com/BlinkDL/Albatross。使用 Albatross 可实现极高的“超并发”推理效率,且永远恒定速度,永远恒定显存:
| 模型尺寸 | 精度 | Batch Size | 速度 token/s | 阶段 | 硬件 |
|---|---|---|---|---|---|
| 7.2B | fp16 | 960 | 10250+ | 生成 (Decode) | 5090单卡 |
| 7.2B | fp16 | 320 | 9650+ | 生成 (Decode) | 5090单卡 |
| 7.2B | fp16 | 1 | 145+ | 生成 (Decode) | 5090单卡 |
| 7.2B | fp16 | 1 | 11289+ | 预填充 (Prefill) | 5090单卡 |
也可以使用基于 Albatross 的 RWKV 并发推理后端 rwkv_lightning(兼容 OAI 格式的 API):https://github.com/RWKV-Vibe/rwkv_lightning。
使用 rwkv_lightning 可实现单卡部署并批量生成内容,例如 批量网页生成:
或批量小说生成:
更多细节请查看历史文章:RWKV超并发项目教程,RWKV-LM训练提速40%
其他本地部署工具
由于 RWKV7 G1f 系列 是新模型,目前建议使用 RWKV Runner 以保证得到正确结果。
可以使用 RWKV Runner、Ai00、RWKV pip 等推理工具本地部署 RWKV 模型。
此外,RWKV 模型也适配了 llama.cpp、Ollama 等热门的模型推理工具。
可以在 RWKV 官网 - 模型推理教程中查看上述推理工具的使用教程。
RWKV-LM 优化训练速度和显存占用
最近 Bo 对 RWKV-LM 进行了一轮优化,训练速度提升 40%(融合多个细碎算子),显存占用降低 40~80%(融合 L2Wrap+CE+Head),且训练的精度更高、梯度更准确。
推荐各位都升级到最新版:github.com/BlinkDL/RWK…
RWKV-LM 超并发大赛预告
最后,我们即将举办 RWKV 超并发大赛,欢迎大家在 RWKV 技术群交流并参与此项目。以下是一些 RWKV 超并发的应用场景和创意:
- 并行 Agent(大模型拆出大量小任务,给 RWKV 模型并行做)
- 并行写代码(大模型将项目拆成多个模块,拆成多个函数,给 RWKV 模型并行写)
- 并行分析(大模型将目标拆成多个部分,给 RWKV 模型并行分析)
- 并行多风格问答 / 创作(让 RWKV 对于一个或多个内容,用不同风格并行回答 / 创作)
- 并行多角色 NPC(让 RWKV 并行扮演几百个角色)
- 并行扩写 / 摘要(让 RWKV 并行处理大量数据)
- 并行改写(让 RWKV 并行处理多个文档,实现个人定制的信息流)
- 并行翻译(将文本拆成多段,让 RWKV 并行处理)
- 并行写小说(大模型将小说拆成多个章节,调用 RWKV 并行写)
- 并行做数学题(让 RWKV 用不同解码参数解题,然后自动投票得到更佳答案)
更多大赛细节将于近日公布,欢迎关注 RWKV 官方账号,获取最新消息!
加入 RWKV 社区
欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。
- 📖 RWKV 中文文档:www.rwkv.cn
- 💬 RWKV 论坛:community.rwkv.cn/
- 🐧 QQ 频道:pd.qq.com/s/9n21eravc | QQ 交流群:224287095
- 📺 BiliBili 视频教程:space.bilibili.com/35466890969…
欢迎大家基于 RWKV-7 进行创业、科研,我们也会为基于 RWKV 的项目提供技术支持。
如果您的团队正在基于 RWKV 创业或开展研究,请联系我们!(在“RWKV元始智能”微信公众号留言您的联系方式,或发送邮件到“contact@rwkvos.com”。)