Grafana 提出使用 SLO 和错误预算衡量 AI 智能体行为可靠性

一句话结论

Grafana 提出将 SRE 的 SLO 与错误预算应用于 AI 智能体，通过评估行为指标替代传统监控以量化幻觉与毒性风险。

关键要点

• Grafana 将智能体交互结果转化为 SLI，针对任务完成度、有据性、毒性及成本设定 SLO，剩余容忍度构成错误预算。
• 评估步骤支持使用 LLM 裁判或正则表达式等确定性检查，具体检查项包括上下文依据、隐私泄露及提示词注入抵抗能力。
• Grafana 反对单一“质量分数”，主张多维独立指标，以防止单一汇总分数掩盖特定行为（如高成本或有毒内容）的故障。
• Anthropic 提出 pass^k 指标衡量多次尝试均成功的可靠性，区别于 pass@k 的至少一次成功，更适用于生产环境稳定性需求。
• OpenTelemetry 正制定智能体遥测语义约定，为跨框架、跨供应商的行为追踪、指标和日志提供标准化基础，补充评估与 SLO 机制。

背景与事实

Grafana Labs 针对现代软件中 AI 智能体表现评估的难题，发布了一种结合可靠性工程方法的新范式。传统应用可观测性指标主要反映响应速度、技术错误率和 Token 消耗量，但这些数据无法直接证明智能体答案的正确性、依据性或用户实用性。Grafana 的方法核心在于评估行为本身，并将评估结果转换为可对照服务级别目标（SLO）衡量的服务级别指标（SLI）。在这一框架下，第一步是执行评估，检查单次交互是否满足特定行为标准。Grafana 列举的评估示例涵盖响应是否基于提供的上下文、是否完成用户请求、是否包含有毒内容、是否泄露个人信息以及是否受到提示词注入影响。这些评估既可以使用另一个语言模型充当裁判，也可以在无需 LLM 识别行为时采用正则表达式等确定性检查。

在指标设计上，Grafana 明确反对创建单一的“智能体质量分数”。其理由在于质量是多维度的，智能体可能回答有据但成本高昂，也可能有帮助但偶尔生成有毒内容，或准确但速度缓慢。将这些问题作为独立指标，允许团队针对应用真正关注的行为分别设定目标，避免将关键故障隐藏在汇总分数中。一旦行为可衡量，传统的 SRE 概念便适用。例如，可设定在 30 天周期内 95% 的对话被判定为完成用户请求的 SLO，剩余的 5% 即为错误预算，代表团队在该时期内可容忍的不可接受行为数量。当错误预算充足时，团队可调整提示词、模型或行为；随着预算耗尽，工作重点应从引入变更转向提高质量。这一决策模型与 SRE 团队长期用于平衡可靠性和开发速度的逻辑一致，Grafana 现有的 SLO 工具也通过 SLI、目标值和时间窗口定义 SLO，并计算目标值与 100% 之间的差额作为错误预算。

这一方法在处理智能体行为逐渐变化而非突然严重故障的场景时尤为有用。模型变更、提示词修改、检索方式变化或用户行为转变都可能导致质量每日下降零点几个百分点。监控错误预算的消耗可使这种漂移变得可见，对于 30 天目标而言，单次糟糕交互可能无足轻重，但持续下降会稳定消耗可用预算。Grafana 指出，组织在定义可接受行为（如任务完成度是 85%、95% 还是 99%）上缺乏共识，因此建议先通过评估建立基线，利用历史结果推荐目标值，随智能体成熟再收紧目标。在社区讨论中，Grafana 工程师还区分了离线评估（针对已知场景验证变更）与在线评估（根据真实生产交互评估行为）。

行业其他组织也在从不同方向解决相关问题。Anthropic 为智能体制定了正式评估实践，通过定义明确任务、重复试验和多个评分器，衡量智能体持续达成预期结果的能力。其中 pass@k 与 pass^k 的区别尤为关键：pass@k 衡量多次尝试中至少成功一次，而 pass^k 衡量在所有尝试中始终成功，对于生产智能体，后者代表的可靠性比偶然找到答案更为重要。OpenTelemetry 则从基础设施层面入手，正在为智能体遥测制定标准化语义约定，使追踪、指标和日志能为跨框架、跨供应商评估提供一致基础。这些方法共同形成一种模式：评估负责判断行为是否正确，可观测性提供证据，SLO 提供判断行为可接受性的运行阈值。

影响分析

对中文开发者与企业而言，Grafana 提出的方法意味着 AI 可观测性将从传统的“系统可用性”监控转向“行为可靠性”监控。在实际工程落地中，团队不能再仅依赖传统基础设施告警来判断 AI 功能是否正常，而必须建立针对幻觉、毒性和成本的行为评估体系。对于正在将 AI 智能体投入生产环境的组织，这意味着需要重新定义质量指标，从关注“请求是否成功返回”转向关注“答案是否符合业务预期与合规要求”。SLO 与错误预算的引入为团队提供了一种治理机制，明确了在模型变更或提示词调整时何时应停止实验、转向修复，从而降低了因模型漂移导致业务损失的风险。然而，这也要求团队具备更高的评估设计能力，因为 SLO 的有效性完全取决于底层测量的准确性。

适用边界

该方法主要适用于具备一定工程成熟度、能够独立部署评估管道并持续监控行为漂移的组织。若组织缺乏具有代表性的评估数据集，或未对可接受行为进行清晰定义，直接应用 SLO 可能导致虚假的精确感。此外，当充当裁判的 LLM 存在持续分类错误，或评估设计不当奖励了技术达标但未满足用户意图的输出时，该方法的结论将失效。对于简单、静态的 AI 场景，复杂的行为 SLO 监控可能因维护成本过高而不具备经济性，此时简单的离线测试或确定性检查可能更为合适。

孤本观察

Grafana 将 SRE 成熟原则移植至 AI 行为领域，揭示了“系统在线但不可信”这一新型故障模式，强调了行为边界监控在 AI 生产环境中的核心地位。这一趋势表明，AI 工程的竞争焦点正从模型能力本身转向对模型行为进行工程化治理的能力。

来源：InfoQ 中文 AI