一句话结论 OMP-MoE以线性复杂度实现MoE专家剪枝,在50%压缩率下将Qwen3-30B推理加速1.55倍且保留93.3%原始性能。 关键要点 OMP-MoE是免训练框架,将专家剪枝重构为稀疏信号重建问题,通过正交匹配追踪(Orthogonal Matching Pursuit)贪心选择专家,
一句话结论 亚马逊云科技推出 Claude Sonnet 5.5,以更低单任务成本和更快速度强化精准编码与知识处理能力。 关键要点 Claude Sonnet 5.5 已在 Amazon Bedrock 及 AWS 上的 Claude 平台上线,支持区域数据驻留与现有 AWS 控制集成。 该模型在范
一句话结论 AWS 发布教程,基于 vLLM-Omni 容器在 SageMaker AI 实现双向流式文本转语音应用,降低实时交互开发门槛。 关键要点 AWS 机器学习博客发布教程第一部分,演示在 Amazon SageMaker AI 上部署 Qwen3-TTS 文本转语音模型,基于 vLLM-O
一句话结论 AWS 推出基于 vLLM-Omni 的混合推理方案,实现同容器内图像实时生成与视频异步生成的协同工作流。 关键要点 同一 AWS vLLM-Omni DLC 容器内配置两个端点,分别服务 FLUX.2-klein-4B 图像模型和 Wan2.1-VACE-1.3B 视频模型。 图像生成
一句话结论 HybridInfer 提出热感知 Q-learning 路由,在真实 Android 设备上显著降低 LLM 推理成本并提升长查询可靠性。 关键要点 系统采用三级架构:端侧 Llama 3.2 3B、边缘 Llama 3.1 8B 带检索、云端 GPT-4o。 路由状态包含设备热余量(
一句话结论 费米宇宙融资亿元并推出 FermiQLLM 1.0,用经典算力实现量子增强,使同等规模模型推理性能提升超15%。 关键要点 费米宇宙(FermiCosmos)完成1亿元种子轮融资,投后估值约10亿元,系国内 Q4AI(Quantum for AI,量子计算赋能人工智能)领域最大规模种子轮