孤本网
/ 0 阅读
0
0

商汤开源Loop-9B-Preview模型,以循环架构实现9B参数媲美27B性能

一句话结论

商汤开源了采用循环架构的SenseNova Loop-9B-Preview模型,该模型在保持9B参数规模下实现了超越部分27B模型的性能表现。

关键要点

  • 商汤于2026年10月31日开源了SenseNova Loop-9B-Preview模型,该模型基于9B参数规模构建
  • 模型采用Looped Transformer架构,将中间层改造为参数共享的循环计算模块,保留首尾各4层原始解码器模块
  • 模型引入mHC机制,在GPQA Diamond和TeamBench评测中分别提升4.42分和13.34分
  • 在WorkBuddy Bench、RaccoonPPT Bench和AutomationBench等评测中,该模型性能超过Qwen3.5-27B
  • 模型权重已在GitHub和Hugging Face平台开源,为社区提供了9B级Looped Transformer的开源实践

背景与事实

随着大模型能力持续演进,业界逐渐认识到模型能力提升并非只有扩大参数规模这一条路径。如何在控制参数规模的同时,通过增加有效计算深度进一步释放模型潜力,已成为值得深入探索的方向。近期,循环计算成为大模型架构研究的重点方向,国内外研究社区围绕Looped Transformer展开了攻关探索。然而,目前的探索多停留在学术研究层面,社区尚缺乏可直接面向日常使用的Looped Transformer模型。

2026年10月31日,商汤开源了日日新SenseNova Loop-9B-Preview模型,这是商汤面向下一代模型架构的一项前沿探索。该模型采用创新的Looped Transformer架构,引入循环计算以扩展模型的有效计算深度,并探索更充分的信息交互机制,旨在提升模型在复杂任务上的处理能力。在仅9B的有限参数规模下,该模型展现出了媲美27B参数大小模型的性能表现。

在技术实现上,SenseNova Loop-9B-Preview以9B尺度模型为基座,保留了首尾各4层原始解码器模块,将中间层改造为参数共享的循环计算模块,通过多轮迭代扩展有效计算深度。在此基础上,模型进一步探索循环计算中的信息传递机制,尝试引入mHC(Manifold-Constrained Hyper-Connections),利用多路残差连接与受约束的信息混合,增强特征交互并维持信号传播的稳定性。整体设计旨在控制参数规模的同时,探索提升模型推理能力的新路径。

性能评测方面,SenseNova Loop-9B-Preview在保持9B级参数规模的同时,展现出较强的跨任务性能。在当前评测设置下,模型在代码生成、办公场景和智能体任务等多个方向上均优于其他模型,并在WorkBuddy Bench、RaccoonPPT Bench和AutomationBench等评测中进一步超过Qwen3.5-27B。商汤通过消融实验评估了mHC的实际收益,结果显示采用该机制后,模型取得明显的性能提升,其中GPQA Diamond和TeamBench分别提高了4.42分和13.34分,展现出在复杂推理任务以及多步骤Agent任务中的应用潜力。

影响分析

对于中文开发者与从业者而言,商汤开源的SenseNova Loop-9B-Preview模型具有重要的实践价值。首先,该模型为社区提供了一个9B级Looped Transformer的开源实践,填补了可面向日常使用的Looped Transformer模型空白,使研究者能够直接获取权重进行实验和应用。其次,模型在控制参数规模下展现的优异性能表明,通过增加有效计算深度提升模型能力是一条可行路径,这为在资源受限环境下部署高性能模型提供了新的思路。然而,需要注意的是,现有相关工作仍以研究验证为主,如何让多轮计算真正转化为模型能力的提升,尤其是在信息传递、特征交互和训练稳定性等方面,仍有进一步探索的空间。因此,开发者在使用该模型时,应充分理解其技术特性,避免将其直接应用于生产环境而未经充分验证。

适用边界

本文所述的结论主要适用于在受控实验环境中使用SenseNova Loop-9B-Preview模型进行技术研究和应用探索的场景。该模型作为Preview版本,其性能表现基于特定评测设置,在实际生产环境中可能面临训练稳定性、信息传递效率等方面的挑战。此外,文中提到的性能超越Qwen3.5-27B的结果依赖于具体的评测基准和设置,不能直接推广到所有任务场景。对于需要在大规模实际应用中部署模型的场景,建议等待商汤后续在更大模型规模下对Looped Transformer的进一步优化和验证结果。

孤本观察

商汤此次开源行为表明,业界正在从单纯追求参数规模转向探索计算深度与参数效率的平衡,这反映了大模型架构研究思路的深层转变。然而,Preview版本的定位也暗示当前技术仍处探索阶段,距离真正成熟的商业化应用还有相当距离。

商汤开源Loop-9B-Preview模型,以循环架构实现9B参数媲美27B性能

商汤开源Loop-9B-Preview模型,以循环架构实现9B参数媲美27B性能

商汤开源Loop-9B-Preview模型,以循环架构实现9B参数媲美27B性能

商汤开源Loop-9B-Preview模型,以循环架构实现9B参数媲美27B性能

商汤开源Loop-9B-Preview模型,以循环架构实现9B参数媲美27B性能

商汤开源Loop-9B-Preview模型,以循环架构实现9B参数媲美27B性能

商汤开源Loop-9B-Preview模型,以循环架构实现9B参数媲美27B性能

商汤开源Loop-9B-Preview模型,以循环架构实现9B参数媲美27B性能

商汤开源Loop-9B-Preview模型,以循环架构实现9B参数媲美27B性能

商汤开源Loop-9B-Preview模型,以循环架构实现9B参数媲美27B性能

商汤开源Loop-9B-Preview模型,以循环架构实现9B参数媲美27B性能

商汤开源Loop-9B-Preview模型,以循环架构实现9B参数媲美27B性能

商汤开源Loop-9B-Preview模型,以循环架构实现9B参数媲美27B性能

常见问题

SenseNova Loop-9B-Preview模型的参数规模是多少?

该模型基于9B参数规模构建。

Loop-9B-Preview模型在哪些评测中超越了Qwen3.5-27B?

在WorkBuddy Bench、RaccoonPPT Bench和AutomationBench等评测中,该模型性能超过Qwen3.5-27B。

引入mHC机制后,模型在GPQA Diamond和TeamBench上的提升幅度是多少?

GPQA Diamond提升4.42分,TeamBench提升13.34分。

SenseNova Loop-9B-Preview模型的权重在哪些平台开源?

模型权重已在GitHub和Hugging Face平台开源。

该模型保留了原始解码器的哪些部分?

保留了首尾各4层原始解码器模块,中间层改造为参数共享的循环计算模块。

来源:雷峰网


评论