RWKV DevDay 2025 圆满落幕,看见 RWKV-8 的无限可能!


                                                                                                                                                <p>2025 年 12 月 13 日,RWKV 在上海漕河泾举办了主题为《RWKV-8 与未来趋势》的 2025 RWKV DevDay。</p> 

十位来自 RWKV 开源社区的重磅嘉宾带来了深度分享,内容涵盖 RWKV-8 的核心 ROSA 机制、并发推理、端侧推理优化、评测方法,以及 RWKV 最新生态进展等多个维度。现场气氛热烈,观众与嘉宾进行了深入的互动与探讨。

分享嘉宾精彩回顾

侯皓文,人工智能与数字经济广东省实验室(深圳)副研究员,分享主题:《RWKV-8 介绍及 RWKV embedding》

RWKV-8 介绍及 RWKV embedding

郑云骜,来自北京邮电大学, 分享主题:《ROSA-tuning》

ROSA-Tuning 提供了一种基于 RWKV ROSA 思想的微调方法 ,使所有 LLM(例如 Qwen3) 使用滑动窗口注意力(SWA)+ ROSA 就能处理任意长的输入 ,同时获得比完整的全局注意力更好的性能

在推理过程中,ROSA 只需缓存与输入序列对应的 rosa_token_id,而不是代价昂贵的 kv_cache,从而实现了显著更低的时空复杂度。

目前 ROSA-Tuning 已经支持多 GPU、多节点和多核训练。

ROSA-tuning

黄文杰,浙江大学博士生,分享主题:《rosa_soft》

rosa_soft 提供了一个端到端可训练的 ROSA 算子实现,将原本离散、不可微的 ROSA 机制成功融入现代深度学习训练流程。

该方法在前向传播严格执行离散、高效的 Hard ROSA 后缀自动机逻辑,保证推理效率与语义忠实性;在反向传播则引入新设计 SUFA(Suffix Attention) 作为梯度代理,并结合 Value Detach + 几何衰减(VDD) 训练策略,使 Q/K 学会对齐最长公共后缀、V 保持结构化与清晰表达,从而实现稳定有效的训练。

rosa_soft 算子源自 RWKV-8 ROSA 的”无限长、无损信息传播”思想,因此具备无 KV Cache、无点积 Softmax、CPU 高效并行推理等优势,目前已提供高性能 C++ 内核与 PyTorch 接口。

rosa_soft

顾真牛,RWKV 社区核心开发者、Ai00 作者,分享主题:《RWKV State Tuning 实战》

RWKV State Tuning 实战

李韦乐,RWKV 社区核心开发者,分享主题:《RWKV 高并行 Demo

RWKV 高并行 Demo

王策,元始智能应用开发工程师,分享主题:《RWKV 端侧 Chat

RWKV 端侧 Chat

康嘉乐,元始智能高级算法工程师,分享主题:《ModRWKV:RWKV 端侧 See 和 Talk

ModRWKV:RWKV 端侧 See 和 Talk

张恺之,SSPU AILab RA、RWKV 社区核心开发者,分享主题:《RWKV Benchmark

RWKV Benchmark

Jellyfish042,深圳大学研究生,分享主题:《RWKV Uncheatable Eval

RWKV Uncheatable Eval

罗璇,元始智能联合创始人,分享主题:《RWKV 生态进展》

RWKV 生态进展

大会现场还通过三个具体的 Demo,直观展示了 RWKV 在不同领域的实际应用能力:

  • 批量网页生成:通过高并行推理 Demo,展示了 RWKV 批量同时生成几十个网页代码的能力,体现了模型在多 agent 等高并发场景下的效率优势
  • 端侧多模态交互(Chat & See & Talk): 在端侧设备上直接运行 RWKV 多模态模型,无需联网即可实现流畅的视觉识别与语音对话,展现了 RWKV 低功耗、低资源占用的特性
  • 音乐生成(RWKV 作曲家 APP):基于 RWKV 模型的作曲工具,模型可以离线生成连贯且动听的乐曲

RWKV DevDay 2025 已圆满落幕,来自 RWKV 社区开发者与核心团队的精彩分享,让我们看见了 RWKV-8 的无限可能。

感谢每一位嘉宾和参会者的参与和支持。期待在下一次 DevDay,与大家再次相见!

精彩预告:《RWKV 论文研讨会》即将启动

RWKV 社区将于近期举办 《RWKV 论文研讨会》 。论文研讨会将以线上直播形式开展,进一步协助推广 RWKV 社区的学术研究工作。欢迎各位 RWKV 论文作者联系我们提交议题!(可在公众号后台留言)

《RWKV 论文研讨会》将于 2026 年开始定期播出,具体的议程及主题,敬请留意公众号后续通知。

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。

                                                                                </div>



Source link

未经允许不得转载:紫竹林-程序员中文网 » RWKV DevDay 2025 圆满落幕,看见 RWKV-8 的无限可能!

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
关于我们 免责申明 意见反馈 隐私政策
程序员中文网:公益在线网站,帮助学习者快速成长!
关注微信 技术交流
推荐文章
每天精选资源文章推送
推荐文章
随时随地碎片化学习
推荐文章
发现有趣的