RWKV社区十一月动态：10篇新论文，G0a3 13.3B发布

RWKV元始智能
124 阅读9分钟

欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 11 月的最新动态。

11 月动态省流版（TL;DR）

  1. RWKV 模型新闻动态

    • RWKV7-G0a3 13.3B 发布：世界最强纯 RNN 大语言模型
    • PENG Bo 发表关于大模型的认知的观点
    • PENG Bo 发布 RWKV7+ROSA 完成数字颠倒任务 Demo

  2. RWKV 学术研究动态

    • Otter: Mitigating Background Distractions of Wide-Angle Few-Shot Action Recognition with Enhanced RWKV（基于 RWKV 的小样本动作识别，获选 CCF A 类会议 AAAI 2026 Oral）

    • WKV-sharing embraced random shuffle RWKV high-order modeling for pan-sharpening（基于 RWKV 的全色锐化，发表于 CCF A 类会议 NeurIPS 2025）

    • SleepRWKVNet: A multimodal sleep staging network integrating bidirectional interactive RWKV and physiological prior-driven sequence-aware loss（基于 RWKV 的睡眠分期，发表于中科院 2 区期刊 BSPC）

    • DREAMSTATE: Diffusing States and Parameters for Recurrent Large Language Models（混合 RWKV 和 Diffusion 的新型架构）

    • Evolution Strategies at the Hyperscale（用于 RWKV-7 的高效微调算法）

    • RawRWKV: An efficient raw image enhancement framework via RWKV architecture（基于 RWKV 的低光图像增强）

    • ASALP: An Automatic Scaling Architecture for Edge Node Resources Based on Load Prediction（基于 RWKV 的负载预测）

    • MRT: Learning Compact Representations with Mixed RWKV-Transformer for Extreme Image Compression（基于 RWKV 的图像压缩）

    • Bridging Transformers and RWKV: Towards Efficient Multimodal Video Understanding（基于 RWKV 的视频理解）

    • Robotic control optimization based on receptance-weighted reinforcement learning（基于 RWKV 的机器人控制）

  3. RWKV 社区市场活动

    • RWKV 团队受邀参加“2025 直通乌镇全球互联网大赛”，并获得人工智能赛道一等奖
    • RWKV 团队受邀参加 XIN峰会
    • RWKV 团队受邀参加第27届中国国际高新技术成果交易会
    • RWKV 团队受邀参加2025 GOTC 全球开源技术峰会
    • RWKV 团队受邀参加RTE 2025

  4. RWKV 2025 生态内容征集大赛 | 10、11 月投稿作品及评审结果

RWKV 模型新闻动态

RWKV7-G0a3 13.3B 发布：世界最强纯 RNN 大语言模型

2025 年 11 月 1 日， RWKV7-G0a3 13.3B 推理模型开源发布。这是世界迄今最强的纯 RNN 大语言模型。

详细报道：RWKV7-G0a3 13.3B 发布：世界最强纯 RNN 大语言模型

最新的更强的 RWKV7-G0b 13.3B 也已刚刚发布权重，稍后正式发布。

PENG Bo 发表关于大模型的认知的观点

Bo评论：Ilya 在播客中说我们已经从「Scaling时代」重回「研究时代」，你是否认可这一观点？

PENG Bo 发布 RWKV7+ROSA 完成数字颠倒任务 Demo

详细报道：RWKV7+ROSA用39564个参数颠倒60位数字输入，四个ROSA项目

RWKV 学术研究动态

Otter

  • 论文名称：Otter: Mitigating Background Distractions of Wide-Angle Few-Shot Action Recognition with Enhanced RWKV
  • 论文链接：arxiv.org/abs/2511.06…
  • 发布日期：2025-11-11

本文提出 Otter 模型，通过增强 RWKV 架构解决广角小样本动作识别的背景干扰问题。该方法设计复合分割模块 (CSM) 凸显主体，并引入时间重构模块 (TRM) 进行双向扫描以恢复时序关系，从而显著提升在复杂场景下的识别性能。

论文中模型效果出色，入选 AAAI 2026 Oral。

WKV-sharing embraced random shuffle RWKV

  • 论文名称：WKV-sharing embraced random shuffle RWKV high-order modeling for pan-sharpening
  • 论文链接：openreview.net/forum?id=gq…
  • 发布日期：2025-10-29

该研究提出一种基于 RWKV 的遥感图像全色锐化新范式 RS-RWKV。为解决 Vision RWKV 中的固定扫描偏差，该方法引入了贝叶斯启发的随机洗牌（Random Shuffle）扫描策略。同时，通过 WKV 共享机制实现高阶建模，有效降低延迟并提升了模型性能，在多个基准测试中表现优越。

论文模型高效精确，发表于 NeurIPS 2025。

SleepRWKVNet

  • 论文名称：SleepRWKVNet: A multimodal sleep staging network integrating bidirectional interactive RWKV and physiological prior-driven sequence-aware loss
  • 论文链接：www.sciencedirect.com/science/art…
  • 发布日期：2025-10-30

该研究提出 SleepRWKVNet，一种基于双向交互 RWKV 的多模态睡眠分期网络。模型通过创新的 Bi-IFM 模块高效融合长序列生理信号并解决模态贡献不一致问题，同时引入基于生理先验的序列感知损失函数 PS-Loss，有效缓解类别不平衡，提升了自动睡眠分期的准确性。

论文模型新颖有效，发表于中科院二区期刊 BSPC。

DREAMSTATE

  • 论文名称：DREAMSTATE: Diffusing States and Parameters for Recurrent Large Language Models
  • 论文链接：openreview.net/forum?id=HH…
  • 发布日期：2025-10-08

本文针对 RWKV 模型提出了 DREAMSTATE 框架，利用 Diffusion Transformer (DiT) 对其内部状态的概率流形进行建模，实现了可控的文本生成。研究进一步将静态 WKV 参数视为“结构性噪声”，设计了一种混合架构，通过 DiT 动态生成这些参数以适应全局上下文，验证了该设计的可行性。

Evolution Strategies at the Hyperscale

该研究在 RWKV-7 等大语言模型上应用了一种名为 EGGROLL 的新型演化策略算法，以实现高效微调。EGGROLL 通过引入低秩矩阵扰动代替传统 ES 的全秩扰动，显著降低了训练数十亿参数模型的计算与内存开销，从而能够支持超大规模的种群优化。该方法在强化学习和纯整数语言模型预训练等任务中也展示了竞争性的性能。

RawRWKV

  • 论文名称：RawRWKV: An efficient raw image enhancement framework via RWKV architecture
  • 论文链接：link.springer.com/article/10.…
  • 发布日期：2025-11-17

该研究提出 RawRWKV 框架，首次将 RWKV 架构用于低光照 raw 图像增强任务。通过结合 RWKV 的线性注意力机制与 U-Net 框架，该模型在显著降低计算复杂度的同时，实现了超越 CNN 和 Transformer 基线的 SOTA 图像增强效果，有效平衡了性能与效率。

ASALP

  • 论文名称：ASALP: An Automatic Scaling Architecture for Edge Node Resources Based on Load Prediction
  • 论文链接：link.springer.com/chapter/10.…
  • 发布日期：2025-11-16

该研究利用增强的 RWKV-EFE 模型进行负载预测，提出了一种边缘资源自动伸缩架构 ASALP。该架构在 Kubernetes-KubeEdge 框架中实现主动扩缩容，解决了原生 HPA 机制的延迟问题，从而显著提升了边缘环境的请求成功率和系统稳定性。

MRT

  • 论文名称：MRT: Learning Compact Representations with Mixed RWKV-Transformer for Extreme Image Compression
  • 论文链接：arxiv.org/abs/2511.06…
  • 发布日期：2025-11-10

本文提出一种混合 RWKV-Transformer (MRT) 架构用于极端图像压缩。该架构结合 RWKV 的全局建模和 Transformer 的局部建模能力，将图像编码为更紧凑的 1D 隐式表示，并设计了专用的 RWKV 压缩模型 (RCM) 进一步提升压缩效率。

Bridging Transformers and RWKV

  • 论文名称：Bridging Transformers and RWKV: Towards Efficient Multimodal Video Understanding
  • 论文链接：openreview.net/forum?id=km…
  • 发布日期：2025-10-08

该研究为解决长视频理解的效率瓶颈，提出一种 RWKV-Transformer 混合架构。通过将部分 Transformer 层替换为 RWKV 模块，并利用参数重用和渐进式蒸馏策略，模型在不进行令牌压缩的情况下显著提升了推理吞吐量，同时在多个视频理解基准上保持了与原模型相当甚至更优的性能。

Robotic control optimization

本文将改进的 RWKV 架构应用于强化学习和机器人控制。研究优化了 RWKV 的通道混合模块，并用其替代 Decision Transformer 中的自注意力模块。在 D4RL 数据集上的实验表明，该方法相比基线模型具有更快的速度和更高的准确性。

社区市场活动

RWKV 团队受邀参加“2025 直通乌镇全球互联网大赛”

2025年11月9日，RWKV 团队受邀参加“2025 直通乌镇全球互联网大赛”，并获得人工智能赛道一等奖

RWKV 团队受邀参加 XIN峰会

2025年11月15-16日，RWKV 团队受邀参加 XIN峰会

RWKV 团队受邀参加第27届中国国际高新技术成果交易会

2025年11月14-16日，RWKV 团队受邀参加第27届中国国际高新技术成果交易会

RWKV 团队受邀参加2025 GOTC 全球开源技术峰会

2025年11月1日，RWKV 团队受邀参加2025 GOTC 全球开源技术峰会，并在大模型应用技术论坛分享RWKV技术

RWKV 团队受邀参加RTE 2025

2025年11月1日，RWKV 团队受邀参加RTE 2025，分享RWKV在语音领域的实践

RWKV 2025 生态内容征集大赛

我们在 2024 年底推出了 “RWKV 2025 生态内容征集大赛”，公开征集 RWKV 相关的作品，包括但不限于 RWKV 相关的论文、讲解 RWKV 的教程，以及基于 RWKV 的应用等。

2025 年 10、11 月，活动共收到 RWKV 生态作品投稿 3 篇高质量论文和 2 个应用。

评审结果

作品名称作品分类投稿人初评奖项论文/项目地址
GDSR论文Doswin铜奖arxiv.org/abs/2501.01…
RWKV-VIO论文kamuyi铜奖www.mdpi.com/1424-8220/2…
rwkv_ops应用路过的小林铁奖github.com/pass-lin/rw…
chirrup应用Leon银奖github.com/leonsama/ch…
基于动态邻接融合与通道混合的图神经网络社团检测方法论文XQ参与奖www.arocmag.cn/abs/2025.07…

加入 RWKV 社区

欢迎大家加入 RWKV 社区，可以从 RWKV 中文官网了解 RWKV 模型，也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊，一起探讨 RWKV 模型。

avatar
文章
阅读
粉丝