RWKV社区四月动态:大量学术研究、G1 1.5B发布,Vision-RWKV入选ICLR 2025 Spotlight...

147 阅读10分钟

欢迎大家收看《RWKV 社区最新动态》,本期内容收录了 RWKV 社区 2025 年 4 月的最新动态。

只需 3 分钟,快速了解 RWKV 社区 4 月都有哪些新鲜事!

4 月动态省流版(TL;DR)

  1. RWKV 学术研究动态

    • 新论文:RSRWKV(RWKV 高分辨率遥感分析模型)
    • 新论文:DREMnet(RWKV 电磁信号去噪模型)
    • 新论文:Geometry-Aware RWKV(异构空间光场超分模型)
    • 新论文:Kinematic Modeling(RWKV 路径/运动轨迹规划模型)
    • 新论文:MolRWKV(RWKV 分子生成模型)
    • 新论文:RGB-Event based Pedestrian Attribute Recognition(基于 RWKV 的多模态行人属性识别)
    • 新论文:Zig-RiR(基于 RWKV 的 2D/3D 医学图像分割)
    • 新论文:RWKVTTS: Yet another TTS based on RWKV-7(基于 RWKV 的文本转语音模型)
    • 论文动态:Vision-RWKV 入选 ICLR 2025 Spotlight
  2. RWKV 模型新闻动态

    • RWKV-G1 1.5B 发布,同参数量全面登顶
    • 中国电科发布基于 RWKV 架构的“小可”大模型
  3. RWKV 社区活动

    • RWKV 参与高通骁友会四周年派对,四周年主题曲由 RWKV AI 提供作曲灵感
    • 高通 8SGen4 发布会宣布支持 RWKV 模型
    • 4 月 7 日,RWKV 作为 AI 模型合作方参加爱簿智能首款 AIBOOK 的发布会
    • 4 月 11 日,RWKV 团队在香港中文大学(深圳校区)开展校园行活动
    • 4 月 19 日,RWKV 团队在北京师范大学开展校园行活动
  4. RWKV 社区项目动态

    • rwkv.c:使用纯 C 语言实现 RWKV-7 模型推理

    • rwkv-by-hand-excel:在 excel 中演示 RWKV-7 推理的计算过程

    • RWKVSharp:使用 C# 封装的 RWKV 推理工具

RWKV 学术研究动态

RWKV 学术研究包括 基于 RWKV 架构的新论文RWKV 社区参加的学术研究

RSRWKV

  • 论文名称:RSRWKV: A Linear-Complexity 2D Attention Mechanism for Efficient Remote Sensing Vision Task
  • 论文链接:arxiv.org/abs/2503.20…
  • 发布日期:2025-03-26

论文提出了 RSRWKV,具有新颖的二维 WKV 扫描机制,在保持线性复杂度的同时,连接了序列处理和二维空间推理。实现了多方向的各向同性上下文聚合。

实验结果表明,在多种数据集上的分类、检测和分割任务中,RSRWKV 优于卷积神经网络和 Transformer 基线,为高分辨率遥感分析提供了一种可扩展的解决方案。

20250326-RSRWKV

DREMnet

  • 论文名称:DREMnet: An Interpretable Denoising Framework for Semi-Airborne Transient Electromagnetic Signal
  • 论文链接:arxiv.org/abs/2503.22…
  • 发布日期:2025-03-28

论文使用 RWKV 架构进行数据处理,引入了上下文-WKV 机制,并进行双向信号建模。通过堆叠嵌入保留了卷积网络的强大局部感知。

测试数据集上的实验结果表明,DREMnet 方法优于现有技术,处理后的现场数据更准确地反映了理论信号,提高了对地下电气结构的识别能力。

20250328-DREMnet

Geometry-Aware RWKV

论文基于 RWKV 设计了一种具有通道相关性的纹理转移模块和一个空间角度校正模块;同时,采用具有几何感知的 RWKV 来捕获广场的内在集合结构。

实验结果表明,所提出的方法在定量和定性比较中均优于最先进的方法,同时在推理时间和内存使用方面实现了更高的效率。

20250407-Geometry-Aware RWKV

Kinematic Modeling

  • 论文名称:Kinematic Modeling of a 7-DOF Tendon-Like-Driven Robot Based on Optimization and Deep Learning
  • 论文链接:onlinelibrary.wiley.com/doi/abs/10.…
  • 发布日期:2025-04-07

该论文提出了一种结合循环网络与自注意力机制的深度学习微调模型 RWKV-TDR7,用于 7-DOF 肌腱驱动冗余机器人的复杂轨迹规划。

通过融合 RWKV 模型的时间序列处理能力和自注意力机制,在保持轨迹拟合精度的同时显著降低了计算复杂度(O(N)),支持长序列输出并提升实时控制效率,验证了 RWKV 架构在机器人运动学优化中的有效性。

20250407-Kinematic Modeling

MolRWKV

  • 论文名称:MolRWKV: Conditional Molecular Generation Model Using Local Enhancement and Graph Enhancement
  • 论文链接:onlinelibrary.wiley.com/doi/abs/10.…
  • 发布日期:2025-04-10

本研究提出 MolRWKV 模型,基于 RWKV 架构创新性地结合 CNN 与 GCN 技术,实现对条件分子生成的精准控制。

RWKV 模型凭借其 Transformer 的高效并行训练特性和 RNN 的推理效率,为 SMILES 序列处理提供长程依赖学习能力。

通过 CNN 提取 SMILES 序列的局部特征,结合 GCN 获取分子骨架的拓扑结构特征,MolRWKV 在无条件生成任务中达到基准模型水平,在条件生成任务中显著提升支架相似性控制精度( Scaff=1 指标提升 5.1%),并能生成具有特定靶蛋白亲和力的分子。实验表明该模型在保持支架信息的同时,有效提高条件生成的准确性与分子多样性。

20250410-MolRWKV

RGB-Event based Pedestrian Attribute Recognition

  • 论文名称:RGB-Event based Pedestrian Attribute Recognition: A Benchmark Dataset and An Asymmetric RWKV Fusion Framework
  • 论文链接:arxiv.org/abs/2504.10…
  • 发布日期:2025-04-14

该论文提出了首个基于 RGB-Event 的多模态行人属性识别基准数据集 EventPAR,并提出了一种新型的 RWKV 融合框架。

通过结合 RWKV 视觉编码器和非对称 RWKV 融合模块,有效整合 RGB 帧的空间特征与事件流的时间信息,在复杂光照和运动模糊场景下实现了行人属性的鲁棒识别。

实验表明该方法在三个基准数据集上达到了最优性能。

20250414-RGB-Event

Zig-RiR

该论文提出了一种基于 RWKV 模型的嵌套结构 Zig-RiR,用于高效医学图像分割。

通过将图像块分解为“视觉句子”和“视觉词语”,结合 Outer Zig-RWKV 和 Inner Zig-RWKV 模块分别捕获全局和局部特征,并引入 Zigzag-WKV 注意力机制保持空间连续性。

该方法在 2D 和 3D 医学图像数据集上实现了 14.4 倍的速度提升和 89.5% 的 GPU 内存优化,验证了 RWKV 在医学图像处理中的高效建模能力。

20250417-Zig-RiR_Zigzag_RWKV

RWKVTTS: Yet another TTS based on RWKV-7

  • 论文名称:RWKVTTS: Yet another TTS based on RWKV-7
  • 论文链接:arxiv.org/abs/2504.03…
  • 发布日期:2025-04-04

该论文提出了一种基于 RWKV-7 模型的文本到语音合成系统 RWKVTTS,替代了传统的 Transformer 架构。

RWKVTTS 在 CosyVoice 2.0 等框架中集成 RWKV-7,利用其循环神经网络的时序建模优势,在保持高质量语音生成的同时显著提升了计算效率和资源利用率。

评测结果显示其合成质量接近人类录音水平,并在多语言和低资源场景中展现出潜力。

RWKV-TTS

Vision-RWKV 入选 ICLR 2025 Spotlight

上海人工智能实验室 OpenGVLab 组的 Vision-RWKV 工作成功入选 ICLR 2025 Spotlight(聚光灯展示)。

vision-rwkv-ICLR-2025

RWKV 模型新闻动态

RWKV7-G1 1.5B 发布

2025 年 4 月 29 日,RWKV 基金会开源发布了 RWKV7-G1 1.5B 推理模型(Reasoning Model)。

RWKV7-G1 1.5B 具备其它同尺寸模型不具备的推理能力任务能力,同时还支持现实世界 100+ 种语言。在实际测试中,RWKV7-G1 1.5B 模型的推理逻辑性较强,能够完成有难度的多语言、数学和代码任务

详细报道RWKV7-G1 1.5B 发布!全球语言推理模型,特别适合端侧手机运行

G1 2.9B 预计在 5 月中旬完成训练,RWKV7-G1 7B 即将开启训练

中国电科发布基于 RWKV 架构的“小可”大模型

中国电科发布“小可”大模型产品,基于国内自主 RWKV 骨干神经网络构建,参数规模 300 亿,支持函数调用、Agent 智能体、文本生成、代码生成和流程自动化等功能。其融合“小可大模型+200 余项智能小模型”,可保障“办文办事办会”通用场景更高效、“地图标绘、态势展示”等具体场景更智能。

详细报道中国电科:人工智能的“独门秘笈” | 解码新质生产力

dianke-xiaoke

社区活动

RWKV 参与高通骁友会四周年派对

RWKV 参与高通骁友会四周年派对,在派对现场展示了 RWKV AI 作曲软件“RWKV 作曲家”。

rwkv-snapdragon-party-2025

高通骁友会周年派对主题曲由 Bilibili 知名 Up 主 -LKs- 制作,主题曲的部分灵感来源于 “RWKV 作曲家”。详见 Bilibili 视频 【上市公司,竟然找我做了首生日歌?!】

lks-video-screenshot

高通 8SGen4 发布会宣布支持 RWKV 模型

4 月 2 日,高通在北京召开第四代骁龙 ®8s 移动平台(8SGen4)的发布会,会上宣布 8SGen4 支持 RWKV 模型。

rwkv-snapdragon-8sgen4-conference

RWKV 参加爱簿智能首款 AIBOOK 的发布会

2025 年 4 月 7 日,RWKV 为爱簿智能的端侧 AI 模型合作方参加爱簿智能首款“算力本”AIBOOK 的发布会,帮助 AIBOOK 实现异构模型的高效部署及推理,共同推动人工智能技术作为新一代生产力工具的开放与普惠。

RWKV-in-AIBOOK

RWKV 校园行:香港中文大学(深圳校区)

2025 年 4 月 11 日,RWKV 团队前往香港中文大学(深圳校区)开展了校园行活动,分享了 RWKV 的发展历史、架构优势、多模态和最新进展。

CUHK-2

CUHK-1

RWKV 校园行:北京师范大学

2025 年 4 月 19 日,RWKV 团队在北京师范大学开展了校园行活动,分享了 RWKV-7 架构的设计思路和架构优势。

BNU

社区项目动态

rwkv.c

使用纯 C 语言实现 RWKV-7 模型推理,支持 RWKV-7 World 和 G1 系列模型。

rwkv-c

rwkv-by-hand-excel

rwkv-by-hand-excel 使用 excel 演示 RWKV-7 推理的计算过程。

该项目通过可手动操作的生动且真实的运算演示,详细展示 RWKV-7 的推理计算过程,帮助开发者深入理解 RWKV-7 架构的底层原理,

channel-mixi-in-excel

RWKVSharp

使用 C# 封装的 RWKV 推理工具,基于 rwkv.cpp ,支持运行 RWKV4/RWKV5/RWKV6/RWKV7 World 模型。

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。