一句话结论
Epsilon 利用 Amazon Nova Act 将 UI 测试从代码选择器驱动转向自然语言意图驱动,使单个工作流编写时间从 30-90 分钟缩短至 5-10 分钟。
关键要点
- Epsilon 部署意图驱动 UI 测试方案,单个工作流编写时间从 30-90 分钟降至 5-10 分钟,工作量减少 4 至 6 倍。
- 该架构基于 Amazon Nova Act 3.x 版本与 Amazon Bedrock AgentCore Browser Tool 构建,通过 FastAPI 侧车服务隔离依赖,避免与 Strands 代理栈冲突。
- 平台采用多租户设计,通过跨账户 AssumeRole 和范围受限的 IAM 策略实现隔离、审计及故障范围控制,支持 50 名工程师团队接入。
- 测试流程支持轨迹重试机制,在草稿状态保存成功轨迹并在活跃状态回放,从而降低回归测试中 LLM 思考带来的延迟与成本。
背景与事实
Epsilon 是 Publicis Groupe 旗下的数据科技公司,负责处理数亿用户档案及数千品牌关系。面对频繁的应用变更需求,其由 50 名工程师组成的 Agentic Platform 团队需要构建共享基础设施,提供基于技能的 Agent 构建器、联邦身份验证及跨账户资源调配。在此背景下,团队引入 Amazon Nova Act 结合 Amazon Bedrock AgentCore Browser Tool,以实现意图驱动的 UI 测试。
该方案的技术栈由核心组件与业务逻辑层构成。平台 API 用于创建工作流,后端运行器执行任务,Amazon Nova Act 驱动浏览器,而 Amazon Bedrock AgentCore Browser Tool 免除了管理浏览器二进制文件、显示服务器及会话生命周期的运维负担。架构层面,请求经 API Gateway 进行认证与权限检查后,由 Django REST API 层暴露端点。业务逻辑层包含工作流管理器、执行编排器及套件协调器。测试任务通过 Amazon SQS 队列,由部署在 Amazon ECS 上的 Runner Service 处理,该服务包含 Nova Act 引擎及无头 Chromium 浏览器。结果、截图、轨迹及 HTML 报告最终存储于 Amazon S3。
在具体实施中,该能力以标准 Agent(ui-test-agent)形式提供,包含两项技能。新团队接入时,平台团队为其配置跨账户 IAM 角色,注册目标应用 URL 并授予访问权限,无需额外配置身份、安全或模型集成。Epsilon 保留 Playwright 作为回归测试基础,并在其上叠加自然语言描述的意图测试。文中展示了一个 18 步测试工作流示例,涵盖登录、表单填写、条件处理、滚动及验证等步骤。技术细节方面,Epsilon 使用 FastAPI 侧车服务运行测试,固定依赖 nova-act 3.x 版本,支持 Workflow 和 IAM 身份验证。
架构设计特意隔离了依赖,以防止与 Strands 代理栈冲突;若运行器禁用,Worker 会回退至进程内执行。Nova Act 的签名端点固定指向 us-east-1 区域,与浏览器会话区域无关。团队推荐将依赖固定于独立服务或容器中,以避免调试困难。在测试策略上,Epsilon 在草稿状态使用轨迹重试,保存成功轨迹并在活跃状态回放,以减少回归测试中的 LLM 思考开销,降低延迟和成本。安全层面采用跨账户 AssumeRole 和范围受限的 IAM 策略,实现多租户隔离。AgentCore Browser Tool 提供实时视图、会话录制及 AWS CloudTrail 集成,替代了自定义可观测性构建。
影响分析
对于中文开发者与从业者而言,该方案展示了自然语言驱动测试在大规模生产环境中的可行性。传统 UI 自动化测试依赖选择器(Selector)和 DOM 结构,一旦前端界面微调,测试脚本即告失效,维护成本极高。Nova Act 方案将测试逻辑抽象为意图,使得测试编写更贴近业务语言,显著降低了非核心开发人员参与自动化测试的门槛。然而,这种简化并非无代价。依赖大模型理解意图意味着测试的确定性降低,且需要处理轨迹回放以控制成本。对于国内开发者,该架构提供了参考:利用大模型能力重构测试基础设施时,必须考虑模型推理成本、轨迹缓存策略以及多租户下的权限隔离。特别是通过固定依赖版本和隔离运行环境来规避依赖冲突的做法,是构建企业级 AI 基础设施的重要经验。
适用边界
该结论仅适用于 Epsilon 当前生产环境及采用 Amazon Nova Act 3.x 版本、Amazon Bedrock AgentCore Browser Tool 和 FastAPI 侧车架构的场景。结论不成立的条件包括:未固定依赖版本导致与 Strands 代理栈冲突、运行器禁用导致回退至进程内执行、未使用轨迹回放机制导致 LLM 推理成本过高、以及未通过跨账户 IAM 策略实现多租户隔离的情况。该方案不适用于不支持 Amazon Web Services 生态或无法部署无头 Chromium 浏览器的离线环境。
孤本观察
编辑观察认为,Epsilon 将 Playwright 保留为回归测试基础并叠加意图测试的策略,反映了当前 AI 测试工具尚未完全取代传统确定性测试的行业现状,两者处于互补而非替代关系。此外,将签名端点固定于 us-east-1 区域的做法,揭示了当前多区域部署中签名机制尚未完全解耦的区域限制,是开发者在实际落地时需关注的基础设施细节。
常见问题
Amazon Nova Act 将 Epsilon 的 UI 测试单个工作流编写时间缩短到了多少?
单个工作流编写时间从 30-90 分钟缩短至 5-10 分钟,工作量减少 4 至 6 倍。
Epsilon 构建该方案时固定了哪个版本的 Amazon Nova Act?
Epsilon 固定使用 nova-act 3.x 版本。
该方案如何处理多租户隔离及故障范围控制?
通过跨账户 AssumeRole 和范围受限的 IAM 策略实现隔离、审计及故障范围控制,支持 50 名工程师团队接入。
测试流程中轨迹重试机制的作用是什么?
在草稿状态保存成功轨迹并在活跃状态回放,从而降低回归测试中 LLM 思考带来的延迟与成本。
Epsilon 保留 Playwright 作为回归测试基础的原因或策略是什么?
文中提到 Epsilon 保留 Playwright 作为回归测试基础,并在其上叠加自然语言描述的意图测试,反映 AI 测试与传统确定性测试互补的现状。