RWKV-7 G1f 模型发布,纯RNN也能写3D游戏

0 阅读6分钟

2026 年 4 月, RWKV-7 G1f 系列推理模型开源发布,目前已发布 G1f 13.3B/7.2B/2.9B/1.5B 模型。

RWKV 模型名称的 G1a/G1c/G1f 等等代表训练数据的版本。您可在同一参数规模下,选择日期最新的模型,以获得最佳效果。

Uncheatable Eval 评测

Uncheatable Eval 使用最新的代码/论文/维基/新闻/小说等实时数据,测试压缩率(“压缩即智能”),评估基底语言模型的真实语言建模能力和泛化能力。

新版 Uncheatable Eval 提升测试难度,加入更多 github 和 arxiv 数据,且增加了测试文本长度。

uncheatable-14B

uncheatable-7B

uncheatable-3B

uncheatable-1.5B

我们发现,RWKV 系列模型在 uncheatable eval 的成绩随时间持续提升。因此,我们可以持续按月发布最新、最强的模型。

模型实战

通过添加更多高质量训练数据,RWKV7 G1f 增强了所有领域能力。先测试编程:

以下测试均基于 RWKV7 G1f 7.2B 模型

生成 2D 场景,prompt: 生成一个web版的2D射击游戏,我可以控制战机左右移动,躲避敌方不断坠落的战机和子弹。生成效果:

web-shot

生成 3D 场景,prompt:使用 Three.js 创建一个简单 3D 房间,用户可以用 WASD 控制摄像机在房间里移动。生成效果:

3D

生成一个 rmsnorm 的 triton 算子

example-triton-rmsnorm

日常问答:多学科分析问题

example-analyze

创作:高考作文

example-composition

注意 G1f 系列依然是纯预训练的基底模型,未经任何后训练,现有案例不代表模型的最终性能。

模型下载

下载 RWKV7 G1f 系列 模型(.pth 格式):

其他格式:

RWKV G1-GGUF 系列模型近 30 天收获了近 2500 次模型下载(无刷榜),收获用户好评。(左边的部分是后台监控漏统计了这段日期的具体每天下载,我们将期间的总下载量按日期摊平到每天。

model-download

如何使用 RWKV 模型

在线体验

魔搭平台在线 demo:

Hugging Face 平台在线 demo:

移动端(支持高并发)

我们也开源了 RWKV Chat,一款端侧推理 APP。RWKV Chat 是基于 RWKV 模型的离线 AI 对话应用,无需联网也能深度思考和并行推理

下载 RWKV Chatrwkv.halowang.cloud/

使用移动端 SoC,RWKV Chat 可实现最高 8 路并发。这是同时用 6 种不同风格回答问题的例子:

RWKV-Chat-APP-Parallel

除了 G1f 语言模型,RWKV Chat 也提供 VL 和 TTS 模型。效果预览:

RWKV-Chat-APP

⚠️ 注意:当前 RWKV Chat APP 处于 demo 阶段,非正式上线应用,仅用于快速体验 RWKV 模型。

本地部署(高并发推理引擎)

推荐使用目前最快的推理方式 Albatrosshttps://github.com/BlinkDL/Albatross。使用 Albatross 可实现极高的“超并发”推理效率,且永远恒定速度,永远恒定显存:

模型尺寸精度Batch Size速度 token/s阶段硬件
7.2Bfp1696010250+生成 (Decode)5090单卡
7.2Bfp163209650+生成 (Decode)5090单卡
7.2Bfp161145+生成 (Decode)5090单卡
7.2Bfp16111289+预填充 (Prefill)5090单卡

也可以使用基于 Albatross 的 RWKV 并发推理后端 rwkv_lightning(兼容 OAI 格式的 API):https://github.com/RWKV-Vibe/rwkv_lightning

使用 rwkv_lightning 可实现单卡部署并批量生成内容,例如 批量网页生成

rwkv-vibe-code

批量小说生成

RWKV-Parallel-Novel

更多细节请查看历史文章:RWKV超并发项目教程,RWKV-LM训练提速40%

其他本地部署工具

由于 RWKV7 G1f 系列 是新模型,目前建议使用 RWKV Runner 以保证得到正确结果。

可以使用 RWKV RunnerAi00、RWKV pip 等推理工具本地部署 RWKV 模型。

此外,RWKV 模型也适配了 llama.cppOllama 等热门的模型推理工具。

可以在 RWKV 官网 - 模型推理教程中查看上述推理工具的使用教程。

RWKV-LM 优化训练速度和显存占用

最近 Bo 对 RWKV-LM 进行了一轮优化,训练速度提升 40%(融合多个细碎算子),显存占用降低 40~80%(融合 L2Wrap+CE+Head),且训练的精度更高、梯度更准确。

推荐各位都升级到最新版:github.com/BlinkDL/RWK…

RWKV-LM 超并发大赛预告

最后,我们即将举办 RWKV 超并发大赛,欢迎大家在 RWKV 技术群交流并参与此项目。以下是一些 RWKV 超并发的应用场景和创意:

  • 并行 Agent(大模型拆出大量小任务,给 RWKV 模型并行做)
  • 并行写代码(大模型将项目拆成多个模块,拆成多个函数,给 RWKV 模型并行写)
  • 并行分析(大模型将目标拆成多个部分,给 RWKV 模型并行分析)
  • 并行多风格问答 / 创作(让 RWKV 对于一个或多个内容,用不同风格并行回答 / 创作)
  • 并行多角色 NPC(让 RWKV 并行扮演几百个角色)
  • 并行扩写 / 摘要(让 RWKV 并行处理大量数据)
  • 并行改写(让 RWKV 并行处理多个文档,实现个人定制的信息流)
  • 并行翻译(将文本拆成多段,让 RWKV 并行处理)
  • 并行写小说(大模型将小说拆成多个章节,调用 RWKV 并行写)
  • 并行做数学题(让 RWKV 用不同解码参数解题,然后自动投票得到更佳答案)

更多大赛细节将于近日公布,欢迎关注 RWKV 官方账号,获取最新消息!

扫码_搜索联合传播样式-白色版.png

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。

欢迎大家基于 RWKV-7 进行创业、科研,我们也会为基于 RWKV 的项目提供技术支持。

如果您的团队正在基于 RWKV 创业或开展研究,请联系我们!(在“RWKV元始智能”微信公众号留言您的联系方式,或发送邮件到“contact@rwkvos.com”。)