一句话结论
AWS 发布基于 Amazon Nova Act 的 QA Studio 参考方案，支持自然语言定义测试与 AI 视觉导航，并通过 CloudWatch 集成健康指标以优化软件交付质量监控。
关键要点
- QA Studio 是 AWS 提供的参考解决方案，核心依赖 Amazon Nova Act 智能体，允许用户使用自然语言定义测试用例，并由 AI 驱动的视觉导航机制自动执行。
- 该方案引入“应用”作为测试容器概念，涵盖网站、Web 应用及服务前端，支持配置开发、预发布及生产等多环境，用例与测试套件继承应用归属权。
- 健康指标系统记录每次执行结果至 Amazon CloudWatch 自定义指标，计算 0 到 100 的健康分数，该分数基于通过率并扣除“抖动测试”的惩罚分以反映系统稳定性。
- 用户权限管理基于团队隔离机制，访问控制依托 Amazon Cognito 组成员资格，采用五级累积角色体系（从 Viewer 至 Team Lead 等），CI 管道通过 OAuth 客户端凭证流实现机器身份认证。
背景与事实
AWS Machine Learning Blog 发布的第三部分技术文档介绍了名为 QA Studio 的参考解决方案，旨在加速软件交付流程。该方案构建在 Amazon Nova Act 这一智能体基础之上，解决了传统测试自动化中依赖固定脚本、难以应对界面变更的痛点。在架构设计上，QA Studio 定义了“应用（Applications）”这一核心实体，它代表被测系统，可以是网站、Web 应用程序或服务的接口前端。每个应用拥有唯一的负责人，作为测试执行的容器。在创建应用时，用户需提供名称和基础 URL，并可选择性配置目标环境，例如开发环境（Development）、预发布环境（Staging）或生产环境（Production）。用例和测试套件作为应用的子资源存在，继承应用的归属权，团队可以在应用页面上下文中直接创建新用例或管理现有的测试套件。
为了量化软件质量，QA Studio 集成了 Amazon CloudWatch 自定义指标体系。每次测试执行的结果都会被记录到 CloudWatch 中，并按应用和环境维度进行分类。控制台页面顶部会显示选定时间窗口内的关键指标，包括通过率、总执行次数和当前失败数。此外，系统会计算一个 0 到 100 的健康分数，该分数不仅基于通过率，还专门引入了“抖动测试”（flaky tests）的惩罚机制。抖动测试指的是在通过和失败状态之间反复切换的不稳定测试，通过扣除这部分惩罚分，健康分数能更真实地反映测试套件的可信度。在指标标签页中，用户可查看趋势图，支持 7 天窗口（每小时粒度）或 30 天窗口（每日粒度）的数据展示，涵盖执行量、成功数、失败数及平均时长，并支持按环境维度过滤以对比不同环境下的测试表现。
在数据视图功能方面，QA Studio 提供了针对性的诊断工具。其中，“抖动测试视图”按过去 7 天内测试通过/失败切换的频率进行排名，帮助工程师快速暴露间歇性故障；“近期失败视图”则列出最新的失败执行记录，作为快速分诊的入口。每条失败记录都直接链接至 Amazon Nova Act 的轨迹日志及会话录屏，用户可一键查看智能体在测试过程中的行为细节。在用户管理方面，方案采用基于团队的权限模型，每个应用仅归属一个团队，团队外成员不可见该应用及其测试。角色体系包含五个层级，权限向下兼容：团队负责人（Team Lead）拥有编辑者（Editor）的全部权限，编辑者拥有贡献者（Contributor）的权限，贡献者拥有查看者（Viewer）的权限，形成累积式授权结构。
根据参考部署案例，QA Studio 的部署环境包含 4 名用户分布在 2 个团队中，角色分配包括 2 名团队负责人、1 名查看者和 1 名工作室级管理员。该方案通过 AWS CDK 部署在用户自有的 AWS 账户中，确保数据边界独立。访问控制严格基于 Amazon Cognito 组的成员资格实施，而持续集成（CI）管道则使用 OAuth 客户端凭证流进行机器身份认证，实现了人与机器权限的分离。共享访问遵循“上限规则”，即用户的有效权限取自身角色与授予等级的较低值，例如查看者即使被授予更高权限，实际有效权限仍限制为查看。团队负责人通过“My Team”界面管理成员、应用及共享访问，该界面仅显示本团队拥有的应用及其测试用例数与最后运行时间。相关技术文档及代码位于 QA Studio 的 GitHub 仓库中，Amazon Nova Act 的技术细节可在其产品页面获取。
影响分析
对于中文开发者与从业者而言，QA Studio 参考方案提供了一条将生成式 AI 与智能体技术融入质量保障（QA）流程的落地路径。传统自动化测试往往面临“维护成本高于编写成本”的困境，特别是当前端界面频繁变更时，基于选择器或脚本的测试极易失效。Amazon Nova Act 采用的视觉导航机制，使得测试不再依赖脆弱的代码定位器，而是通过 AI 理解界面元素，这在一定程度上降低了测试脚本的维护负担。对于正在探索 AIGC 或 Agentic AI 应用的技术团队，该方案展示了如何在生产级环境中管理 AI 智能体，包括通过录屏和轨迹日志进行行为审计，这对于解决 AI 测试不可解释性问题是具有实际参考价值的。此外，基于 CloudWatch 的健康分数与抖动测试惩罚机制，为质量指标提供了更细粒度的量化标准，有助于团队识别并修复不稳定的测试用例，提升整个测试金字塔的可信度。
适用边界
该结论主要适用于能够访问 AWS 云环境且愿意通过 CDK 进行基础设施代码化部署的技术团队。QA Studio 作为参考解决方案（Reference Solution），并非开箱即用的托管服务，团队需自行处理数据边界、权限配置及 CI 集成。对于非 AWS 技术栈、或无法接受数据驻留在用户自有 AWS 账户中的企业，该方案的适用性受限。此外，该方案假设被测系统具备可访问的 Web 界面，对于纯后端服务或无法通过视觉导航覆盖的移动端原生应用，其测试能力边界尚未在本文档中明确涵盖。若团队缺乏对 Cognito 和 OAuth 流程的运维能力，实施门槛将显著增加。
孤本观察
作为编辑观察，QA Studio 将“抖动测试”量化并纳入健康分数惩罚机制，这一设计判断精准击中了自动化测试中长期存在的“假阳性”痛点，使得质量指标从单纯的“通过与否”转向“稳定可信度”，这是 AI 驱动测试区别于传统脚本测试的关键特征之一。
常见问题
QA Studio 的健康分数计算范围是多少？基于什么指标？
健康分数范围是 0 到 100。该分数基于通过率计算，并专门引入“抖动测试”的惩罚机制，通过扣除这部分惩罚分来反映测试套件的可信度与系统稳定性。
QA Studio 中角色权限体系是如何定义的？
采用五级累积角色体系，包括团队负责人、编辑者、贡献者、查看者等。权限向下兼容，团队负责人拥有编辑者全部权限，编辑者拥有贡献者权限，贡献者拥有查看者权限，形成累积式授权结构。
CI 管道和人类用户的身份认证方式有什么区别？
人类用户的访问控制依托 Amazon Cognito 组成员资格实施；持续集成（CI）管道则使用 OAuth 客户端凭证流进行机器身份认证，从而实现人与机器权限的分离。
QA Studio 参考方案部署时有哪些技术门槛或限制条件？
适用于能访问 AWS 且愿意通过 CDK 部署的技术团队。它非开箱即用的托管服务，需自行处理数据边界与权限配置，假设被测系统具备可访问的 Web 界面，且团队需具备 Cognito 和 OAuth 运维能力。
什么是“抖动测试”？在 QA Studio 中有什么作用？
“抖动测试”指在通过和失败状态之间反复切换的不稳定测试。在 QA Studio 中，系统会对此类测试施加惩罚分，使健康分数更真实地反映测试可信度，帮助识别并修复不稳定的测试用例。