RWKV社区二月动态:ROSA语言模型Demo,10篇论文

0 阅读6分钟

欢迎大家收看《RWKV 社区最新动态》,本期内容收录了 RWKV 社区 2026 年 2 月的最新动态。

2 月动态省流版(TL;DR)

  1. RWKV 模型新闻动态

    • RWKV-8 ROSA-1bit 语言模型 Demo 发布
    • RWKV-8 ROSA-4bit 语言模型 Demo 发布
  2. RWKV 学术研究动态

    • U-RWKV: Accurate and Efficient Volumetric Medical Image Segmentation via RWKV(基于RWKV的体素分割,发表于 CCF A 类期刊 IEEE TIP)

    • Surv-RWKV: Cross-modal receptance weighted key-value interaction with optimal transport feature alignment for survival analysis(基于RWKV的生存分析,发表于中科院 1 区 TOP 期刊 ESWA)

    • MMSegRWKV: Enhancing Multimodal MRI Segmentation for Internet of Medical Things-Enabled Healthcare with RWKV-Inspired Architectures(基于RWKV的医学图像分割,发表于中科院 1 区 TOP 期刊 IEEE IoTJ)

    • KAN We Flow? Advancing Robotic Manipulation with 3D Flow Matching via KAN & RWKV(基于RWKV的流匹配方法,发表于 CCF B 类会议 ICRA 2026)

    • scMix: Learning Temporal Dynamics of Gene Expression under Irregular Time Intervals(基于RWKV的单细胞分析,发表于 JCR Q1 期刊 Bioinformatics)

    • Serialized PointRWKV: A Serialized RWKV-like Model Employing Feature-Based Masked Autoencoders for Point Cloud Analysis(基于RWKV的点云分析,发表于 JCR Q1 期刊 IEEE Sensors Journal)

    • A high-performance defect detection for titanium strip via receptance weighted key value architecture-inspired context modeling and hierarchical differential fusion(基于RWKV的缺陷检测,发表于 JCR Q1 期刊 EAAI)

    • ROSA-Tuning: Enhancing Long-Context Modeling via Suffix Matching(RWKV社区成员开发的一种 ROSA 训推方法)

    • SeisRWKV: Multi-scale Feature Interaction with Linear Complexity for Seismic Neighboring-shot Interference Mitigation(基于RWKV的地震数据处理)

    • Pre-trained multi-scale RWKV-GCN for multivariate time series forecasting(基于RWKV的时间序列预测,发表于 Scientific Reports)

  3. RWKV 社区项目动态

    • ROSA Soft : 一种端到端的 ROSA 算子实现

RWKV 模型新闻动态

RWKV-8 ROSA-1bit 语言模型 Demo

详细报道:RWKV-8 ROSA-1bit 语言模型 Demo

RWKV-8 ROSA-4bit 语言模型 Demo

这是人类史上首个可端对端高效训练和scale的神经符号LLM架构。在8bit时训练速度甚至已比RWKV7更快。

详细报道:RWKV-8 ROSA-4bit 语言模型 Demo

RWKV 学术研究动态

U-RWKV

  • 论文名称:U-RWKV: Accurate and Efficient Volumetric Medical Image Segmentation via RWKV
  • 论文链接:ieeexplore.ieee.org/abstract/do…
  • 发布日期:2026-01-23

设计Tri-directional Spatial Enhancement RWKV (TSE-R) block,通过RWKV进行全局建模并结合空间偏移策略与三方向扫描机制,提升体素医学图像分割准确性(Dice达87.21%)且参数减少16.08倍。

论文方法新颖效果出色,发表于 CCF A 类期刊 IEEE TIP。

20260123-U-RWKV

Surv-RWKV

  • 论文名称:Surv-RWKV: Cross-modal receptance weighted key-value interaction with optimal transport feature alignment for survival analysis
  • 论文链接:www.sciencedirect.com/science/art…
  • 发布日期:2026-02-04

用RWKV编码器从WSI和基因通路序列提取特征,引入最优传输特征对齐模块映射到共享空间,通过RSF和CRDI模块动态建模跨模态交互,提升生存预测准确性。

论文方法新颖效果出色,发表于中科院 1 区 TOP 期刊 ESWA。

20260204-Surv-RWKV

MMSegRWKV

  • 论文名称:MMSegRWKV: Enhancing Multimodal MRI Segmentation for Internet of Medical Things-Enabled Healthcare with RWKV-Inspired Architectures
  • 论文链接:ieeexplore.ieee.org/abstract/do…
  • 发布日期:2026-02-06

结合RWKV与U形架构构建MMSegRWKV,用DV-WKV在动态短时间窗口内建模双向时空依赖,通过ResFM显式建模二阶跨模态交互,提升多模态MRI分割精度。

论文方法新颖效果出色,发表于中科院 1 区 TOP 期刊 IEEE IoTJ。

20260206-MMSegRWKV

KAN We Flow?

  • 论文名称:KAN We Flow? Advancing Robotic Manipulation with 3D Flow Matching via KAN & RWKV
  • 论文链接:arxiv.org/abs/2602.01…
  • 发布日期:2026-02-01

替换流匹配的UNet风格骨干为RWKV-KAN UNet,通过RWKV时间/通道混合传播任务上下文及GroupKAN样条功能校准,实现参数减少86.8%、保持快速推理并达到最优成功率。

论文方法新颖效果良好,发表于 CCF B 类会议 ICRA 2026。

20260201-KAN We Flow

scMix

  • 论文名称:scMix: Learning Temporal Dynamics of Gene Expression under Irregular Time Intervals
  • 论文链接:academic.oup.com/bioinformat…
  • 发布日期:2026-02-15

扩展RWKV架构提出Delta-RWKV块,通过Delta-Time Mixing将时间间隔Δt融入衰减项,处理不规则时间间隔的单细胞测序数据,建模基因表达的时间动态变化。

论文方法新颖效果良好,发表于 JCR Q1 期刊 Bioinformatics。

20260215-scMix

Serialized PointRWKV

  • 论文名称:Serialized PointRWKV: A Serialized RWKV-like Model Employing Feature-Based Masked Autoencoders for Point Cloud Analysis
  • 论文链接:ieeexplore.ieee.org/document/11…
  • 发布日期:2026-02-18

设计旋转不变重排序算法将无序3D点云转换为结构化序列,修改RWKV架构实现邻域插值和全局注意力,引入基于特征空间的MAE预训练,在ScanObjectNN和ModelNet40上达95.13%和94.6%准确率。

论文方法新颖效果良好,发表于 JCR Q1 期刊 IEEE Sensors Journal。

20260218-Serialized PointRWKV

A high-performance defect detection

  • 论文名称:A high-performance defect detection for titanium strip via receptance weighted key value architecture-inspired context modeling and hierarchical differential fusion
  • 论文链接:www.sciencedirect.com/science/art…
  • 发布日期:2026-02-24

在C2-RWKV模块中重构RWKV的时间和通道混合单元为二维空间通道混合单元,通过深度卷积将一维递归WKV算子映射到全向空间邻域混合,以线性复杂度实现图像特征的选择性动态累积,增强模型对多尺度和高相似度缺陷的判别能力。

论文方法新颖效果良好,发表于 JCR Q1 期刊 EAAI。

20260224-A high-performance defect detection

ROSA-Tuning

  • 论文名称:ROSA-Tuning: Enhancing Long-Context Modeling via Suffix Matching
  • 论文链接:arxiv.org/abs/2602.02…
  • 发布日期:2026-01-14

将 RWKV-8 ROSA 与注意力机制并行部署在CPU端,识别长上下文中与当前查询相关的历史位置并将检索信息以可训练方式注入模型状态,显著恢复窗口注意力模型的长上下文建模能力且性能接近全局注意力。

20260114-ROSA-Tuning

SeisRWKV

  • 论文名称:SeisRWKV: Multi-scale Feature Interaction with Linear Complexity for Seismic Neighboring-shot Interference Mitigation
  • 论文链接:www.researchsquare.com/article/rs-…
  • 发布日期:2026-01-29

用RWKV层结合co-wkv双向注意力机制以线性复杂度全局建模,集成MCF模块增强跨通道信息融合与多尺度特征交互,精准抑制地震邻炮干扰。

20260129-SeisRWKV

Pre-trained multi-scale RWKV-GCN

  • 论文名称:Pre-trained multi-scale RWKV-GCN for multivariate time series forecasting
  • 论文链接:link.springer.com/article/10.…
  • 发布日期:2026-02-23

构建两阶段框架PMSRWKV-GCN,第一阶段用FFT预处理后通过RWKV在自监督预训练中学干净的时序表示,第二阶段用GCN利用空间结构,提升多元时间序列预测性能。

论文方法有一定创新性,发表于 Scientific Reports。

20260223-Pre-trained multi-scale RWKV-GCN

RWKV 社区项目动态

ROSA Soft

ROSA Soft 是由社区开发者设计的一套端到端可训练的 ROSA 算子实现。该项目采用直通估计器(STE)框架,成功解决了 ROSA 机制离散、不可微分的问题,使其能够与基于梯度的优化算法兼容。

项目来源:wjie98

项目链接:github.com/wjie98/rosa…

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。