RWKV发布历史

最近 30 天 RWKV 系列模型在 HF 和 ollama 有 2190 次模型下载，4 月发布 G1f

这是史上首个高效神经符号 LLM 架构 Demo。另有 10 篇论文涵盖图像、视频、序列以及ROSA模型等领域。

ROSA Soft 是由社区开发者设计的一套端到端可训练的 ROSA 算子实现。该项目采用直通估计器（STE）框架，成功解决了 ROSA 机制离散、不可微分的问题，使其能够与基于梯度的优化算法兼容。

RWKV G1c系列模型发布，元始智能与九天睿芯达成战略合作。多个 RWKV 相关项目，包括 RWKV 批量推理。

MiSS 微调方法，适合所有大模型，显著优于 LoRA 和其他 PEFT 方法，现已集成至 RWKV-PEFT 仓库

本次研讨将围绕 VisualRWKV 系列研究工作展开，重点介绍基于 RWKV 架构的视觉语言模型设计思路与关键技术。

项目提出 ROSA-Tuning，一种通过检索回忆机制增强预训练模型长上下文建模能力的方法。 成功验证：窗口注意力+ROSA > 全局注意力。

RWKV7 G1c 仅需 3B 参数量，即可配合 state-tuning 可轻松完成复杂 agent 角色扮演。

深圳元始智能有限公司与深圳市九天睿芯科技有限公司正式达成战略合作。此次合作，标志着AI大模型架构与底层硬件创新的深度融合，将为端侧智能计算开启全新的篇章。

RWKV G0b 13.3B发布，3个优质项目，第二届RWKV开发者大会成功举办，长期招算法实习生。

在 Uncheatable Eval 超越 Qwen3 14B。近期也更新了 1B 和 3B 模型。

PENG Bo 发表关于大模型的认知的观点，同月发布 RWKV7+ROSA 完成数字颠倒任务 Demo。

基于 2 层 RWKV-7 模型（仅30860 个参数）训练“数字翻转”任务，实现良好准确率和运算效率

RWKV7-G0a3 7.2B 发布；ROSA机制公布并完成验证；10篇论文，涉及图像、3D、视频、序列等方向。

我们以 RWKV6-world-v2.1 14B 模型为基础，仅继续训练 2T tokens，即获得了有竞争力的效果。

2025 年 10 月 30 日， RWKV7-G0a3 7.2B 推理模型开源发布。它基于 RWKV7-G0a2 7.2B 继续训练高质量数据，显著提升能力。

RWKV7-G1a 1.5B/2.9B 发布，17 篇论文，多篇高质量论文被 1 区期刊收录，荣获 S 创冠军

作为纯预训练的基底模型，无“刷榜”，RWKV7-G1a 2.9B 的 MMLU 提升到 61.1%，MMLU Pro 提升到 31.5%

2025 年 9 月 22 日， RWKV7-G1a 1.5B 推理模型（Reasoning Model）正式开源发布，新增多种推理风格，效果显著增强。

2025 年 8 月，活动共收到 RWKV 生态作品投稿 1 篇高质量论文和 2 个应用。本文将公布 2025 年 8 月的活动投稿作品及评审结果。