一句话结论
Anthropic 因 AI 代码生成量激增致 Git 崩溃,7 名工程师 5 个月内构建新系统 Scion,显著降低基础设施成本并提升性能。
关键要点
- 2024 年 9 月,Anthropic 日均代码合并量突破 3 万次,较 5 月的 2500 次增长超 12 倍。
- 7 名工程师在 5 个月内完成 Scion 系统开发与迁移,同时交付代码审查工具 Antique 及相关设施。
- 迁移后基础设施 CPU 和内存占用降至 Git 镜像方案的 1/200,CI 任务代码检出速度提升约两个数量级。
- 系统取消传统 Push 步骤,采用始终在线的客户端—服务器架构,关键数据通过 Changeset 写入预写日志。
- 放弃严格串行全局仓库锁式合并队列,转向合并后测试和部署前自动化测试,冲突由 Claude 快速修复。
背景与事实
2024 年,随着 Claude 系列大模型在代码生成任务上的应用深化,Anthropic 内部 Monorepo 的规模与活跃度发生了数量级的变化。2024 年 5 月,该团队平均每天合并约 2500 次代码修改;到了 9 月,这一数字激增至超过 3 万次,四个月时间内增长超过 12 倍。这种由 AI 驱动的代码产出爆发,迅速击穿了基于传统 Git 的版本控制基础设施极限。当时,主分支历史接近 100GB,压缩后的工作副本超过 25GB,持续集成(CI)系统每日需执行约 2500 万次代码检出,朴素 Git 方案下的日传输数据需求超过 600PB。尽管团队此前已采用浅克隆、稀疏检出、内部镜像(巅峰时期需数百台服务器支持)及对象存储快照等多种优化手段,但面对 AI 生成的海量代码,这些方案已难以为继。
为应对这一挑战,2024 年 10 月 13 日,Anthropic 披露了其内部研发成果:由 7 名工程师在 5 个月内开发并完成迁移的全套版本控制系统 Scion。该系统并非通用 Git 替代品,而是针对超大规模 Monorepo、每日数千万次检出及数万次代码合并的极端场景专门设计,目前暂无开源计划。作为同步交付的基础设施,Scion 还包括代码审查工具 Antique、代码搜索及权限管理设施。Scion 的核心架构创新在于引入了始终在线的客户端—服务器模型,将提交、合并、变基及历史查询操作移至服务器端处理,并彻底取消了传统的 Push 步骤。在数据层面,系统引入 Changeset 写入预写日志,文件内容存储于 Blob Storage,部分元数据使用 Spanner,并实施包含 scion-daemon、scion-cache、scion-server 的分层缓存策略,各层缓存命中率均超过 99%。
迁移 Scion 后,基础设施性能与成本发生了显著变化。官方数据显示,基础设施的 CPU 和内存占用降至原有 Git 镜像方案的 1/200,CI 和研究任务中的代码检出速度提高了约两个数量级,CI 环节节省了约 25% 的 CPU 容量。在开发实践中,内部早期版本 Claude Mythos Preview 在重写 Git 数据导入管线时,在无额外指令的情况下将内存消耗降低了 20 倍,执行速度提高了 4 倍。此外,团队还部署了“superfans”Claude Agent 集群,专门用于监控 scion-daemon、scion-cache 及 Antique 合并队列,通过读取遥测数据和日志发现异常,实现了运维模式的自动化变革。
影响分析
对于中文开发者与从业者而言,Anthropic 此次内部重构虽未开源,但其所揭示的技术路径具有强烈的行业警示与参考意义。分析认为,随着国内大模型在代码辅助编程领域的深入应用,许多中大型科技公司的 Monorepo 正面临与 Anthropic 类似的“代码产出增速远超基础设施承载能力”的矛盾。Anthropic 放弃传统 Git 客户端架构,转向服务器端处理并引入预写日志与分层缓存的方案,为应对 AI 时代超高频代码合并场景提供了具体的工程范式。特别是其通过 Agent 集群进行自动化运维监控的实践,可能促使国内开发者重新审视 CI/CD 流水线中的资源分配与自动化监控策略,推动版本控制工具从单纯的代码管理向服务化、云化架构演进。
适用边界
该结论及 Scion 架构主要适用于具备超大规模 Monorepo、极高代码合并频率(如日均数万次)且拥有足够工程资源进行底层重构的头部科技公司。对于绝大多数中小型企业、开源社区项目,或每日合并量在千次以下的常规开发场景,传统 Git 配合常规的浅克隆、稀疏检出优化手段依然有效且成本更低。盲目引入 Scion 这种始终在线的服务端架构可能会带来不必要的复杂性与运维成本,因此该技术路线并不具备通用的普适性。
孤本观察
编辑观察认为,Anthropic 此次重构的本质并非简单的工具替换,而是基础设施层面对“AI 生成代码作为第一生产力”这一新范式的适应性妥协,其通过牺牲部分本地离线操作能力换取了云端并发的极致吞吐。尽管该判断基于其架构特性,但需注意其未公开的缺陷率与回滚率数据意味着该极高频合并流程在质量可靠性上仍存在未知风险,不宜直接作为行业通用最佳实践盲目照搬。





常见问题
2024年9月Anthropic日均代码合并量相比5月增长了多少倍?
2024年9月日均代码合并量突破3万次,较5月的2500次增长超12倍。
迁移到Scion系统后基础设施的CPU和内存占用降低了多少?
基础设施CPU和内存占用降至Git镜像方案的1/200。
Scion架构取消了传统Git的哪个关键步骤?
Scion架构取消了传统的Push步骤,采用始终在线的客户端—服务器架构。
Scion系统是否计划开源?
Scion系统目前暂无开源计划。
构建Scion系统花费了多久及多少人力?
7名工程师耗时5个月完成Scion系统开发与迁移。
来源:InfoQ 中文 AI