宣称“从 0 构建”,印度 AI 实验室 Sarvam 发布两款 MoE 架构 LLM


IT之家 2 月 20 日消息,印度 AI 实验室 Sarvam 当地时间本月 18 日在印度人工智能影响力峰会上发布了 2 款“从 0 构建”的最新一代 MoE 架构大语言模型。这两款模型即将在 Hugging Face 上以开源权重的形式提供,API 访问和仪表盘支持也将随后推出。

Sarvam 两款新模型中的较小型号采用 30B-A1B 设计,预训练数据集规模达 16T,支持 32K 上下文窗口,面向需求低延迟的实时应用场景;规模较大的型号则采用 105B-A9B 设计,支持 128K 上下文窗口,面向要求更为严苛的用例。

Sarvam 宣称其 105B-A9B 模型在本地化的印度语言基准测试中优于谷歌 Gemini 2.5 Flash 等竞争对手。而对于更广泛的工作负载,其“大多数基准测试中优于 DeepSeek R1,许多基准测试中优于谷歌 Gemini Flash”。

            <!-- 非定向300*250按钮    17/09  wenjing  begin -->
            <!-- 非定向300*250按钮  end -->
        </div>



Source link

未经允许不得转载:紫竹林-程序员中文网 » 宣称“从 0 构建”,印度 AI 实验室 Sarvam 发布两款 MoE 架构 LLM

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
关于我们 免责申明 意见反馈 隐私政策
程序员中文网:公益在线网站,帮助学习者快速成长!
关注微信 技术交流
推荐文章
每天精选资源文章推送
推荐文章
随时随地碎片化学习
推荐文章
发现有趣的