当前位置：紫竹林-程序员中文网 > 科技 > 正文

RWKV社区十二月动态：10篇新论文，Bo的2025总结

2025-12-31 分类：科技 阅读(12) 评论(0)


欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 12 月的最新动态。

12 月动态省流版（TL;DR）

  1. RWKV 模型新闻动态

    • RWKV7-G0b 13.3B 发布

  2. RWKV 学术研究动态

    • RWKV-SKF: A recurrent architecture with state-space and frequency-domain filtering for dissolved oxygen predicting and revealing influencing mechanisms（基于 RWKV 的溶解氧预测，发表于 JCR Q1 分区的 Information Sciences）
    • Robin: RWKV Accelerator using Block Circulant Matrices based on FPGA（基于 FPGA 的 RWKV 加速器，发表于 CCF B 类会议 ICCAD）
    • DME-RWKV: An Interpretable Multimodal Deep Learning Framework for Predicting Anti-VEGF Response in Diabetic Macular Edema（基于 RWKV 的糖尿病黄斑水肿治疗反应预测，发表于 Bioengineering）
    • SemanticBBV: A Semantic Signature for Cross-Program Knowledge Reuse in Microarchitecture Simulation（基于 RWKV 的程序分析与微架构模拟，发表于 ASP-DAC 2026）
    • EG-Net: Edge-Global aware network for accurate skin lesion segmentation（基于 RWKV 的皮肤病变分割，发表于 中科院 2 区期刊 BSPC）
    • AFF-UNet-RWKV: A Lightweight Model for High-Quality Deblurring in Medical Imaging（基于 RWKV 的医学图像去模糊）
    • RWKVSR: Receptance Weighted Key-Value Network for Hyperspectral Image Super-Resolution（基于 RWKV 的高光谱图像超分辨率）
    • LADY: Linear Attention for Autonomous Driving Efficiency without Transformers（基于 RWKV 的端到端自动驾驶）
    • FRWKV: Frequency-Domain Linear Attention for Long-Term Time Series Forecasting（基于 RWKV 的长期时间序列预测）
    • Fourier-RWKV: A Multi-State Perception Network for Efficient Image Dehazing（基于 RWKV 的图像去雾）

  3. RWKV 社区市场活动

    • RWKV 社区举办第二届开发者大会

  4. RWKV 社区项目动态

    • ROSA-soft
    • ROSA-tuning
    • RWKV State Tuning 实战

  5. 特刊：PENG Bo 的 2025 年度总结

RWKV 模型新闻动态

2025 年 11 月 30 日， RWKV7-G0b 13.3B 推理模型开源发布。它基于 RWKV7-G0a4 13.3B 继续训练高质量数据，显著提升各项能力。

详细报道：RWKV7-G0b 13.3B 发布：RNN 的新一步

RWKV 学术研究动态

RWKV-SKF

该研究基于 RWKV 架构，提出了 RWKV-SKF 框架，通过融合状态空间卡尔曼滤波与频域傅里叶滤波，有效处理传感器噪声与周期性动态，以提升溶解氧预测精度。实验证明该模型性能优越，并能揭示关键影响机制。

论文发表于 Information Sciences（JCR Q1 分区），在环境监测领域应用表现出色。

Robin

论文介绍了 Robin，一种针对 RWKV 线性注意力模型的 FPGA 加速器软硬件协同设计方案。为了解决 RWKV 在 FPGA 上的存储和计算瓶颈，Robin 在算法层提出了部分块循环矩阵（PBCM）技术来压缩权重并保持精度；在硬件层设计了可配置循环计算核心，利用 DSP 封装策略高效支持循环和标准矩阵运算。实验显示，相比 Tesla A100 GPU，Robin 实现了高达 3.09 倍的吞吐量提升和 7.31 倍的能效提升。

论文效果出色，发表于 CCF B 类会议 ICCAD。

DME-RWKV

  • 论文名称：DME-RWKV: An Interpretable Multimodal Deep Learning Framework for Predicting Anti-VEGF Response in Diabetic Macular Edema
  • 论文链接：https://www.mdpi.com/2306-5354/13/1/12
  • 发布日期：2025-12-21

本研究基于 RWKV 架构提出了 DME-RWKV 模型，用于预测糖尿病黄斑水肿（DME）患者对抗 VEGF 治疗的反应。该模型融合了 OCT 和超广角成像，并结合因果注意力学习等方法，在生物标志物分割和治疗反应预测任务上均表现出色，具有高精度和可解释性。

论文模型新颖高效，发表于 Bioengineering。

SemanticBBV

  • 论文名称：SemanticBBV: A Semantic Signature for Cross-Program Knowledge Reuse in Microarchitecture Simulation
  • 论文链接：https://arxiv.org/abs/2512.10231
  • 发布日期：2025-12-11

该论文提出 SemanticBBV，使用轻量级 RWKV 编码器生成语义签名，以解决传统 BBV 无法跨程序重用知识的问题。它通过 Set Transformer 聚合嵌入并联合训练，实现了跨程序性能估计，显著加速了微架构模拟。

论文显著加速了微架构模拟，发表于 ASP-DAC 2026。

EG-Net

该研究利用 RWKV 构建边缘-全局特征融合模块，以增强皮肤病变分割的全局上下文建模能力。结合边缘特征提取与通道增强解码器，EG-Net 有效解决了病变边界模糊问题，在多个公开数据集上实现了超越 SOTA 的精度与泛化性。

论文效果出色，发表于中科院 2 区的 BSPC。

AFF-UNet-RWKV

本文提出的 AFF-UNet-RWKV 模型，通过集成 RWKV-lite 空间混合器来捕获长程空间依赖，并结合 AFF 模块融合编解码器特征，实现了高效的医学图像去模糊。该轻量级模型在 PSNR 和 SSIM 指标上均优于传统方法，展现了优越的恢复性能。

论文在多项指标上均优于传统方法，展现了卓越的恢复性能。

RWKVSR

RWKVSR 引入了 RWKV 架构用于高光谱图像超分辨率，通过线性复杂度模块实现高效全局建模，结合方向可分离 3D 卷积和频域损失优化光谱一致性，在多个数据集上实现最佳性能。

论文在多个数据集上实现最佳性能，效果优异。

LADY

  • 论文名称：LADY: Linear Attention for Autonomous Driving Efficiency without Transformers
  • 论文链接：https://arxiv.org/abs/2512.15038
  • 发布日期：2025-12-17

该研究基于 RWKV-7 模型提出首个完全线性注意力的端到端自动驾驶框架 LADY。它通过轻量级线性交叉注意力机制，高效融合多帧传感器数据，实现恒定计算与内存开销。实验证明 LADY 在提升规划性能的同时显著降低计算成本，并已在边缘设备部署验证。

论文在提升性能的同时显著降低了计算成本，表现出众。

FRWKV

  • 论文名称：FRWKV:Frequency-Domain Linear Attention for Long-Term Time Series Forecasting
  • 论文链接：https://arxiv.org/abs/2512.07539
  • 发布日期：2025-12-09

受 RWKV 线性注意力启发，本文提出了 FRWKV 模型，将线性注意力与频域分析相结合，用于长期时间序列预测。该方法在频域中实现 O(T) 复杂度的线性注意力，有效利用频谱信息增强特征表示，在多个基准测试中取得了领先性能。

论文在多个基准测试中取得了领先性能，效果显著。

Fourier-RWKV

  • 论文名称：Fourier-RWKV: A Multi-State Perception Network for Efficient Image Dehazing
  • 论文链接：https://arxiv.org/abs/2512.08161
  • 发布日期：2025-12-09

Fourier-RWKV 通过将 WKV 注意力机制扩展至频域来解决图像去雾问题。该模型融合了空间、频域与语义三种感知状态，以线性复杂度实现了 SOTA 性能，有效平衡了恢复质量与计算效率。

论文以线性复杂度实现了 SOTA 性能，效果非凡。

社区市场活动

RWKV 社区举办第二届开发者大会

2025 年 12 月 13 日，RWKV 在上海漕河泾举办了主题为《RWKV-8 与未来趋势》的 2025 RWKV DevDay。

十位来自 RWKV 开源社区的重磅嘉宾带来了深度分享，内容涵盖 RWKV-8 的核心 ROSA 机制、并发推理、端侧推理优化、评测方法，以及 RWKV 最新生态进展等多个维度。

详细报道：RWKV DevDay 2025 圆满落幕，看见 RWKV-8 的无限可能！

RWKV 社区项目动态

ROSA-tuning

ROSA-Tuning将 ROSA 机制与现代大型语言模型相结合，使它们能够仅使用固定长度的注意力窗口来处理任意长的输入，同时实现接近完全全局注意力的性能。

项目地址：https://github.com/zyaaa-ux/ROSA-Tuning

ROSA-soft

本项目提供了一个强大的、可端到端训练的ROSA（Rapid Online Suffix Automaton）算子实现。我们通过采用直通估计器（STE）框架，使离散的、不可微分的ROSA机制与基于梯度的优化兼容。

项目地址：https://github.com/wjie98/rosa_soft

RWKV State Tuning 实战

仅需 8G 显存（一张 4060）即可训练一个可以正常进行 function call，并根据设定内容进行回复的模型！最终训练出的 state 仅 10M，搭载 2.9B 模型，边缘设备也可部署！

详细报道：RWKV State Tuning实战：8G显存训练AI助手（带function call）

特刊：PENG Bo 的 2025 年度总结

转自知乎用户 PENG Bo，原文链接：https://www.zhihu.com/question/1974931646080836522/answer/1987541572955416201?share_code=DcUETlkRnH7K&utm_psn=1987588920150618890

谢邀，首先感谢 RWKV 社区的支持，我们刚刚举办了 RWKV8 ROSA 开发者大会：

今年我发过的 RWKV 模型（每个参数量都是越新越显著强，请大家记得永远用最新模型）。 模型下载和 GGUF 见：https://huggingface.co/BlinkDL/rwkv7-g1

📅 RWKV 模型发布列表

模型版本 参数量 文件名
RWKV7-G0b 7.2B rwkv7-g0b-7.2b-20251220-ctx8192.pth
RWKV7-G0a4 7.2B rwkv7-g0a4-7.2b-20251208-ctx8192.pth
RWKV7-G1b 2.9B rwkv7-g1b-2.9b-20251205-ctx8192.pth
RWKV7-G1b 1.5B rwkv7-g1b-1.5b-20251202-ctx8192.pth
RWKV7-G0b 13.3B rwkv7-g0b-13.3b-20251130-ctx8192.pth
RWKV7-G1a4 2.9B rwkv7-g1a4-2.9b-20251118-ctx8192.pth
RWKV7-G0a4 13.3B rwkv7-g0a4-13.3b-20251114-ctx8192.pth
RWKV7-G1a3 2.9B rwkv7-g1a3-2.9b-20251103-ctx8192.pth
RWKV7-G0a3 13.3B rwkv7-g0a3-13.3b-20251031-ctx4096.pth
RWKV7-G0a3 7.2B rwkv7-g0a3-7.2b-20251029-ctx8192.pth
RWKV7-G1a3 1.5B rwkv7-g1a3-1.5b-20251015-ctx8192.pth
RWKV7-G1a2 1.5B rwkv7-g1a2-1.5b-20251005-ctx8192.pth
RWKV7-G0a2 7.2B rwkv7-g0a2-7.2b-20251005-ctx4096.pth
RWKV7-G1a 2.9B rwkv7-g1a-2.9b-20250924-ctx4096.pth
RWKV7-G1a 1.5B rwkv7-g1a-1.5b-20250922-ctx4096.pth
RWKV7-G1a 0.4B rwkv7-g1a-0.4b-20250905-ctx4096.pth
RWKV7-G0a 7.2B rwkv7-g0a-7.2b-20250829-ctx4096.pth
RWKV7b-G1b 0.1B rwkv7b-g1b-0.1b-20250822-ctx4096.pth
RWKV7a-G1b 0.1B rwkv7a-g1b-0.1b-20250819-ctx4096.pth
RWKV7-G1a 0.1B rwkv7-g1a-0.1b-20250728-ctx4096.pth
RWKV7-G0 7.2B rwkv7-g0-7.2b-20250722-ctx4096.pth
RWKV7-G1 2.9B rwkv7-g1-2.9b-20250519-ctx4096.pth
RWKV7-G1 1.5B rwkv7-g1-1.5b-20250429-ctx4096.pth
RWKV7-G1 0.4B rwkv7-g1-0.4b-20250324-ctx4096.pth
RWKV7-G1 0.1B rwkv7-g1-0.1b-20250307-ctx4096.pth
RWKV-7 2.9B RWKV-x070-World-2.9B-v3-20250211-ctx4096.pth
RWKV-7 1.5B RWKV-x070-World-1.5B-v3-20250127-ctx4096.pth
RWKV-7 0.4B RWKV-x070-World-0.4B-v2.9-20250107-ctx4096.pth

受益于数据的进步，模型能力快速提升，例如这是 G0b 13.3B 的发布稿： 点击阅读文章

它在单显卡并行生成几十个网页的效果（看着空白的都实际内容正常，只是留白多，缩小看不到内容）：

单显卡并行生成效果

我还没开始真正的大规模蒸馏/刷榜，所以 2026 年的 RWKV 会强非常多，请大家期待。

以及目前在 rwkv.cn 可见 161 篇论文（还有些新的没放上来）：

RWKV论文列表

在 2026 年，我们会继续推进纯 RNN 的极限。欢迎大家关注 RWKV 官网：

此外，您在 Play Store / App Store 外区，可搜索 RWKV chat（源代码在 GitHub），体验 RWKV 端侧离线 app（对话，图像，语音，等等）：

RWKV APP 界面

效果例子：

App 运行效果

📢 招聘与技术资源

最后，我们长期招实习生（尤其是 infra、后训练、多模态），不限学历，不限线上线下，只要您有热情+会用 AI，欢迎联系我们（您可以先加 RWKV 的各个 QQ 群，然后在群里说）。

⚡ 快速上手 RWKV 训练（单显卡几 G 显存就能玩）：

⚠️ 提示：训练 RWKV 时，记得正确初始化，记得只在大矩阵参数做 weight decay。

加入 RWKV 社区

欢迎大家加入 RWKV 社区，可以从 RWKV 中文官网了解 RWKV 模型，也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊，一起探讨 RWKV 模型。

                                                                                </div>



Source link

未经允许不得转载：紫竹林-程序员中文网 » RWKV社区十二月动态：10篇新论文，Bo的2025总结

相关推荐

评论 抢沙发

取消

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

近期文章

关于我们 免责申明 意见反馈 隐私政策
程序员中文网：公益在线网站，帮助学习者快速成长！
关注微信 技术交流
推荐文章
每天精选资源文章推送
推荐文章
随时随地碎片化学习
推荐文章
发现有趣的

Copyright©2010-2022 鄂ICP备16010909号