RWKV元始智能

最近 30 天 RWKV 系列模型在 HF 和 ollama 有 2190 次模型下载，4 月发布 G1f

这是史上首个高效神经符号 LLM 架构 Demo。另有 10 篇论文涵盖图像、视频、序列以及ROSA模型等领域。

ROSA Soft 是由社区开发者设计的一套端到端可训练的 ROSA 算子实现。该项目采用直通估计器（STE）框架，成功解决了 ROSA 机制离散、不可微分的问题，使其能够与基于梯度的优化算法兼容。

RWKV G1c系列模型发布，元始智能与九天睿芯达成战略合作。多个 RWKV 相关项目，包括 RWKV 批量推理。

MiSS 微调方法，适合所有大模型，显著优于 LoRA 和其他 PEFT 方法，现已集成至 RWKV-PEFT 仓库

本次研讨将围绕 VisualRWKV 系列研究工作展开，重点介绍基于 RWKV 架构的视觉语言模型设计思路与关键技术。

项目提出 ROSA-Tuning，一种通过检索回忆机制增强预训练模型长上下文建模能力的方法。 成功验证：窗口注意力+ROSA > 全局注意力。

RWKV7 G1c 仅需 3B 参数量，即可配合 state-tuning 可轻松完成复杂 agent 角色扮演。

深圳元始智能有限公司与深圳市九天睿芯科技有限公司正式达成战略合作。此次合作，标志着AI大模型架构与底层硬件创新的深度融合，将为端侧智能计算开启全新的篇章。