Armature 发布 17,000 次会话研究：编程智能体工具选择逻辑革新

一句话结论

Armature 研究表明编程智能体工具选择已脱钩传统品牌效应，厂商需优化文档与代码上下文以提升被 Agent 选中概率。

关键要点

• Armature 基于 75 个独立代码仓库测试了 Claude Code、Codex 和 Cursor，其中核心分析数据来自 5,292 次经过验证的会话子集，而非完整的 17,000 次会话。
• 三个不同编程智能体在仅有 42% 的测试单元中做出了相同的工具选择，且 Claude Code 自行实现功能（即“自己造”）的比例约为 19%，接近 Codex 和 Cursor（各 10%）的两倍。
• 信息源差异显著影响决策：Codex 在 94% 的会话中使用网络搜索，且十次中有九次使用特定搜索运算符；Claude Code 仅 30% 情况下搜索网络，但一旦浏览，访问页面数量是 Codex 的 3 倍；Cursor 在 2/3 会话中基于网络信息决策。
• 提及率与选择率存在巨大落差：例如 PayPal 被提及 139 次但 0 次被选中，LangChain 被提及 194 次但仅 4 次被选中，证明品牌知名度不再直接决定 Agent 的选择。
• 模拟人类干预环节（由 Gemini 3.7 Flash 扮演）削弱了头部工具和云平台原生方案的优势，使最终结果更接近真实开发场景。

背景与事实

开发者工具增长服务公司 Armature 近期详细介绍了一项关于编程 Agent 工具选择机制的实验性分析。该公司由联合创始人 Theodore Otzenberger 和 Louis Scremin 主导，旨在厘清编程 Agent 如何发现、评估并最终选择开发工具，以及厂商如何提高产品被选中的概率。随着软件开发者采用 AI 的速度超过其他职业，且模型能力与 harness 工程不断完善，完整的开发任务正被端到端地交给 Agent 处理。这导致过去二十年积累的品牌声誉在 Agent 决策中可能被“冻结”在旧时代的快照中，厂商必须在 Agent 层面重新建立存在感。

研究团队设计了 1,163 种不同的 prompt，模拟包括 vibe coder、初创公司初级工程师和大型企业资深开发者在内的多种角色。实验基于公开的 GitHub 仓库展开，团队记录了项目的编程语言、框架、第三方服务、部署平台、团队规模及代码库年龄等信息。由于公开开源项目偏向初创公司，团队参考公开数据调整样本，使项目分布更接近设定的目标结构。在任务执行阶段，Claude Code、Codex 和 Cursor 需在删除部分内容的原始代码库基础上完成任务。为减少偏差，实验使用了虚构的公司名称、人造的 Git 提交历史和伪造的 API Key。特别地，实验引入了一个由 Gemini 3.7 Flash 通过 orchestrator 扮演的模拟人类环节。Armature 解释称，若要求 Agent 不提问直接动手，其倾向于自行实现所有功能；加入“人类”环节后，头部工具和云平台原生方案的过强优势被削弱，结果更具真实参考价值。

影响分析

对于中文开发者及工具厂商而言，这一研究意味着传统的营销漏斗正在失效。厂商不能仅依赖品牌知名度或 Logo 视觉识别，而必须将“Agent 可读性”作为产品文档、定价页面及配套说明的核心优化指标。由于 Agent 会字面理解脚注、数据保留期限等细节，且不同 Agent（如 Codex 依赖搜索、Claude Code 依赖内部知识）的信息获取路径截然不同，厂商需构建多层次的信息呈现策略：既要在通用网络搜索结果中保持可发现性，又要确保代码仓库上下文中的文档片段能被精准提取。这是一种新型的“引擎优化”，其受众是非人类实体，且迭代速度随模型更新而加速。厂商若无法在 Agent 的技术栈评估中占据“必备工具”位置，将面临被彻底排除在开发者工作流之外的风险。

适用边界

该结论主要适用于依赖公开 GitHub 仓库和 Web 信息源的场景。由于实验样本基于公开数据并经过调整以模拟目标结构，其结果可能无法完全代表私有内部代码库、高度合规受限行业或特定企业专有工具链中的 Agent 行为。此外，研究时点基于 Claude Code、Codex 和 Cursor 的当前版本，随着新 Agent 模型（如文中提到的 Astra 和 Fable 5.1）的发布，工具选择逻辑可能重新洗牌，因此结论具有时效性限制。

孤本观察

本观察认为，研究揭示的“提及与选择割裂”现象（如 LangChain 高提及低选择）预示着工具营销将从“品牌曝光”转向“上下文精准匹配”工程。Armature 作为 2026 年成立的初创公司，其研究不仅是对现状的描述，更是对“Agent 原生增长”这一新商业逻辑的早期验证，暗示未来工具文档的编写规范将向机器可读性深度倾斜。

来源：InfoQ 中文 AI