arXiv 新研究揭示自适应优化器预条件指数与学习率的负相关耦合机制,挑战单一验证集模型选择范式
一句话结论 自适应优化器中最大化跨环境泛化性能的预条件指数随学习率增加呈线性下降,且该最优指数常为负值。 关键要点 研究在 21 个预条件指数 $p\in[-0.5,0.5]$ 和 5 个学习率 $\eta\in[10^{-4},10^{-2}]$ 的网格上进行控制实验,发现使跨环境准确率最大化的
AI 让更多可能成为现实
从大模型发布、AI Agent、多模态生成到 RAG 与开发实战,孤本网持续追踪 OpenAI、Anthropic、Google DeepMind、微软、Meta、英伟达等厂商动态,以及 DeepSeek、Claude、Gemini、Llama、Qwen、Kimi、豆包等模型的能力边界与真实落地场景。
阅读全文按厂商、模型、技术方向与内容领域聚类的文章索引,点击词条查看相关文章。
一句话结论 自适应优化器中最大化跨环境泛化性能的预条件指数随学习率增加呈线性下降,且该最优指数常为负值。 关键要点 研究在 21 个预条件指数 $p\in[-0.5,0.5]$ 和 5 个学习率 $\eta\in[10^{-4},10^{-2}]$ 的网格上进行控制实验,发现使跨环境准确率最大化的
一句话结论 ENAS 在无 GPU 环境下实现 2.41 倍搜索加速,显著降低微控制器部署模型的峰值激活 RAM 消耗。 关键要点 ENAS 采用随机→Top-K→变异三阶段混合搜索策略,配合静态可行性检查和跨运行持久缓存机制 支持标准、深度可分离和瓶颈块三种基础结构,可选跳跃连接,覆盖主流 Tin
一句话结论 HybridInfer 提出热感知 Q-learning 路由,在真实 Android 设备上显著降低 LLM 推理成本并提升长查询可靠性。 关键要点 系统采用三级架构:端侧 Llama 3.2 3B、边缘 Llama 3.1 8B 带检索、云端 GPT-4o。 路由状态包含设备热余量(
一句话结论 论文证明仅靠余弦相似度无法证明量化模型的可解释性特征保留,必须报告采样噪声底数才能给出可靠结论。 关键要点 对于均值差方向估计量,半数分割噪声底由无量纲参数 κ = nρ²/d 唯一决定,期望余弦相似度的闭式解为 E[cos] ≈ (1+4/κ)⁻¹。 在 Qwen2.5-1.5B-In
一句话结论 研究提出结合离线策略评估与受控预热模拟的方法,利用固定 A/B 测试历史数据判断自适应实验是否优于静态分配并指导策略选择。 关键要点 基于静态 A/B 测试日志数据,通过双重稳健估计量(doubly robust estimators)对预定义的自适应与非自适应策略组合进行排序。 引入“
一句话结论 七彩虹发布 M-ATX 机箱及正反叶风扇,强化 DIY 市场视觉与散热配置。 关键要点 BA26M-G 机箱支持 390mm 显卡,顶部可装 360 冷排。 该机箱设有 9 个风扇位,前置接口含 1 个 5Gbps USB 口。 风扇采用 32+8 颗 RGB 灯珠,支持公母头对插串联。