一句话结论
DeepSeek公开DSec沙盒基础设施,通过极致资源超卖与镜像优化,使Agent训练高效可扩展。
关键要点
- DSec支持四类执行后端与统一Python SDK,容器后端单周使用11,266个基础镜像及102,171个工作区。
- 采用EROFS格式存储实现元数据与数据分离,集中创建8,192个容器时任务完成时间缩短至35分钟,磁盘写入量减少57%。
- 约90%沙盒CPU用量不超过申请量的5%,生产环境超卖率超50倍,保障大规模并发执行效率。
- 启用virtio-pmem与DAX使宿主机峰值内存下降40.2%,DAMON与balloon机制使累计内存消耗下降21.2%。
- 单个DSec分片提供约3万CPU核心、250 TB内存,日服务约300万沙盒,峰值并发超38万个,每秒创建超5,000个。
背景与事实
2026年,DeepSeek在知乎独家发布技术长文,详细公开支撑DeepSeek-V4系列模型训练、评测与数据预处理的沙盒基础设施DSec(DeepSeek Elastic Compute)。技术报告《DeepSeek弹性计算(DSec):面向大规模智能体训练的高效沙箱基础设施》已同步发布于arXiv,由DeepSeek联合清华大学发布,作者团队超过130人,DeepSeek创始人梁文锋位列其中。这一基础设施的公开,标志着AI大模型底层工程能力走向透明化,揭示了万亿参数时代Agent训练背后的算力调度真相。
在架构设计层面,DSec支持FnCall、Container、MicroVM和Full VM四种执行后端,开发者通过统一的Python SDK(libdsec)即可接入不同粒度的隔离环境。2026年某周的生产数据显示,仅容器后端就使用了11,266个基础镜像、102,171个工作区及数百个工具包,凸显了基础设施应对复杂多样Agent任务场景的能力。存储系统采用EROFS格式,实现了元数据与数据分离以及跨镜像去重。镜像按需加载实验表明,在集中创建8,192个容器的场景下,任务完成时间从60多分钟缩短至35分钟,加速比约1.71,同时磁盘写入量减少57%;在工作区供给实验中,任务完成时间也从79分钟缩短至45分钟,大幅降低了模型迭代等待周期。
资源管理方面,DSec展现了极致的密度优化能力。约90%的沙盒平均CPU用量不超过申请量的5%,生产环境超卖率超过50倍,这意味着物理资源被压榨至理论极限以支撑海量并发。内存优化方面,启用virtio-pmem与DAX技术使宿主机峰值内存用量下降40.2%;启用DAMON与balloon机制使累计内存消耗下降21.2%。CPU调度优化后,时延敏感任务在高负载下的时延增幅由45.2%大幅降至17.3%,确保了关键训练任务不被背景噪声干扰。此外,单个DSec分片包含约160台服务器,提供约3万个CPU核心和250 TB内存,日服务约300万个沙盒,峰值并发超38万个,每秒可创建超5,000个沙盒,构成了支撑大规模RLHF与Agent进化的算力底座。
从DeepSeek-V4.1版本起,架构发生重大演进:轨迹执行与GPU训练实现解耦,Agent沙盒与工作容器部署在GPU资源池之外,从而在GPU抢占后仍能保障执行状态完整。DSec引入pack_diff打包机制,支持增量快照及轨迹分叉,极大提升了探索策略的效率。安全层面,通过AppArmor和eBPF实施细粒度访问控制,在开放沙盒环境的同时守住了系统安全底线。这些工程细节的披露,填补了开源社区关于Agent训练基础设施黑盒认知的空白。
影响分析
对中文AI开发者而言,DSec技术报告的公开具有直接的方法论借鉴价值。50倍CPU超卖率与EROFS镜像去重技术,提示在资源受限环境下构建Agent训练平台时,存储层I/O瓶颈与资源闲置是主要矛盾,而非单纯算力不足。开发者可参考其libdsec统一SDK设计,将异构沙盒环境抽象为单一接口,降低Agent工具链集成复杂度。
同时,轨迹执行与GPU解耦的架构趋势值得警惕与跟进。这意味着未来的Agent训练平台需具备独立于GPU集群的CPU密集型执行池,以应对长链路、多步骤任务的并发执行需求。企业若自建类似平台,应提前规划内存气球机制与增量快照功能,避免在规模化探索中遭遇状态丢失与资源浪费。
适用边界
上述超卖与内存优化策略主要适用于时延敏感度中等、可容忍短暂资源抖动的批量Agent训练场景。对于低延迟、强一致性要求的实时交互类Agent服务,50倍超卖可能导致SLA违约,需调整资源配置策略。此外,DSec依赖EROFS格式与特定内核特性(如DAMON、eBPF),在旧版Linux内核或非x86架构服务器上可能无法完全复现同等性能。
孤本观察
作为判断,DSec将基础设施指标(如超卖率、镜像加载耗时)与模型训练效果深度绑定公开,打破了业界仅关注模型参数的惯例,暗示Agent能力竞争已进入底层工程效率与资源调度精度的维度。
常见问题
DSec在集中创建8192个容器时,任务完成时间从多少缩短至多少?
任务完成时间从60多分钟缩短至35分钟,同时磁盘写入量减少57%。
启用virtio-pmem与DAX以及DAMON与balloon机制后,内存消耗分别下降了多少?
宿主机峰值内存用量下降40.2%,累计内存消耗下降21.2%。
单个DSec分片能提供多少CPU核心、内存及每日服务多少个沙盒?
提供约3万个CPU核心、250 TB内存,日服务约300万个沙盒。
DSec生产环境中的CPU超卖率超过多少倍?
生产环境超卖率超过50倍。
DSec技术报告由哪些机构联合发布?作者团队规模如何?
由DeepSeek联合清华大学发布,作者团队超过130人。
来源:量子位