孤本网
发布于 2026-03-11 / 0 阅读
0
0

OpenAI 提出让 AI 智能体抵御提示注入的设计思路,ChatGPT 以约束高风险操作、保护敏感数据应对

OpenAI 提出,通过约束高风险操作、保护敏感数据,让 AI 智能体抵御提示注入与社交工程。这一思路针对的是智能体工作流中的安全风险。

据 OpenAI News 消息,该机构刊文说明 ChatGPT 如何防御提示注入和社交工程。文章给出的路径有两条:一是约束智能体可能执行的高风险操作,二是保护智能体工作流中的敏感数据。文章标题为“设计能抵御提示注入的 AI 智能体”(Designing AI agents to resist prompt injection)。

提示注入指攻击者借由输入内容诱导 AI 系统偏离原有指令,社交工程则利用交互过程获取本不应获得的信息或操作权限。在智能体场景下,模型可调用工具、访问数据并执行动作,风险面随之扩大,因此限制动作范围与数据暴露面成为其给出的防御方向。

孤本观察:本文所依据的来源仅为文章标题与摘要,未涉及具体机制细节与效果数据,因此上述思路目前只能视为设计原则层面的表述。把防御重心放在约束操作权限和保护数据一侧,意味着安全边界更多由系统侧的权限设计承担,而非单纯依赖模型对恶意指令的识别能力。

来源:OpenAI News


评论