一句话结论
Orca Security 基于 Amazon Bedrock 优化 Discovery AI 架构，将云安全查询输入成本降低 90%，响应延迟从 60 秒降至 15 秒。
关键要点
- Orca Security 的 Discovery AI 系统自 2026 年 3 月投入生产以来，每天处理数千次自然语言安全查询，支持超过 900 种云基础设施和应用模型。
- 优化后的架构将单个工作负载的输入令牌消耗从约 200 万个大幅降至 14 万个，降幅达 93%，整体查询成本降低 90%。
- 系统端到端响应时间从最初的约 60 秒缩短至 15 秒，性能提升显著，支持高频次的生产环境交互。
- 技术架构采用混合模式，结合 Amazon Titan 嵌入检索、Cohere Rerank 3.5 重排序以及 Anthropic Claude Haiku 4.5 模型选择器，解决纯语义搜索的重复与相关性失衡问题。
- 该项目建立持续评估框架，利用 LLM-as-judge 评分层和内部标记工具，确保低置信度查询被自动路由至专家，无需重新部署即可更新示例库。
背景与事实
Orca Security 是一家网络安全公司，其核心产品 Sonar 是一个领域特定查询系统，覆盖超过 900 种云基础设施和应用模型（如 Amazon EC2 实例、Amazon S3 存储桶）。传统用户需通过 JSON 对象、18 种运算符及复杂的层级关系进行查询，技术门槛较高。为降低这一门槛，Orca Security 与 AWS 合作，基于 Amazon Bedrock 构建名为 Discovery AI 的自然语言查询智能体，旨在将自然语言问题转换为 Sonar 查询语句。
在早期的概念验证阶段，系统尝试将完整的 Sonar 模式加载到提示中。由于模型数量庞大，这导致单个工作负载消耗约 200 万个输入令牌，响应延迟约为 60 秒，且在处理复杂多模型查询时准确性受限。为解决此问题，Orca Security 团队开发了改进的混合架构，结合了检索增强生成（RAG）与感知模式的查询构建。该架构通过分阶段模型分配，使用基于 Anthropic Claude Haiku 4.5 的模型选择器筛选必要模型，生成器仅接收所选模型及其关系的完整架构细节，从而大幅减少输入规模。
在检索策略优化方面，团队发现纯 top-K 语义搜索会导致示例重复，而最大边际相关性（MMR）算法牺牲了相关性。最终，系统采用 Amazon Titan 嵌入进行 top-20 最近邻检索，随后使用 Cohere Rerank 3.5 重排序至前 5 个，以平衡覆盖率和精确度。Orca Security 选择 Amazon Bedrock 作为底层平台，是因为其通过单一 API 提供多模型访问支持，并允许继承 AWS 身份与访问管理（IAM）、虚拟私有云（VPC）端点和 CloudTrail 等治理控制，且架构模型无关，便于后续替换模型版本。
自 2026 年 3 月系统投入生产以来，每天处理数千个查询。相比初始基线，输入令牌使用量从约 200 万降至 14 万，整体成本下降 90%，端到端响应时间从 60 秒降至 15 秒。团队还建立了内部标记工具，允许产品经理等专家标记查询并纠正输出，系统自动收集低置信度生产查询并路由至专家，下一次流水线通过 Cohere Rerank 3.5 检索新示例以提升准确率，无需重新部署系统。
影响分析
对于中文开发者与从业者而言，这一案例展示了在大模型应用落地过程中，如何通过架构优化解决“上下文窗口限制”与“成本效益”之间的矛盾。在构建企业级 AI 应用时，直接加载全量知识库或系统模式往往导致令牌成本爆炸和响应延迟不可控。Orca Security 的实践表明，采用“检索增强生成+分阶段模型分配”的混合架构是提升生产环境稳定性的关键。特别是利用轻量级模型（如 Claude Haiku 4.5）进行初步筛选，再用更强大的模型进行最终生成，这种分层策略可直接应用于需要处理复杂领域知识（如金融、法律、医疗代码）的 AI 助手开发中。
此外，该案例强调了“持续评估框架”在生产环境中的重要性。许多 AI 项目在上线后往往面临准确率漂移的问题，而 Orca Security 通过 LLM-as-judge 评分层和自动化的人工标记闭环，实现了无需代码部署的模型行为优化。这对于追求长期运维稳定性的团队具有直接参考价值，说明 AI 系统的维护不应仅依赖模型更新，更应依赖数据飞轮与评估体系的持续迭代。
适用边界
该结论主要适用于拥有大量结构化领域知识且需要降低非技术人员使用门槛的企业级场景。对于数据量较小、模型数量有限或单次查询复杂度不高的应用，直接加载上下文或使用基础 RAG 可能已足够，无需引入如此复杂的分阶段模型分配与重排序机制。此外，该系统依赖于 AWS 生态内的特定服务（如 Amazon Bedrock、Titan、IAM），迁移至其他云服务商时需重新适配治理控制与嵌入模型，架构优势可能减弱。对于实时性要求极高（毫秒级）或完全离线部署的场景，该方案的延迟优化（15 秒）可能仍不满足需求。
孤本观察
从编辑视角判断，Orca Security 成功的关键在于并未追求单一模型的极致性能，而是通过工程化的“检索-筛选-生成”流水线，将 900 多个模型的复杂性拆解为可管理的子任务，这种以成本可控性换取工程稳定性的思路，比单纯堆砌模型参数更具现实意义。
常见问题
优化后系统的输入令牌消耗量是多少？
优化后的架构将单个工作负载的输入令牌消耗从约 200 万个大幅降至 14 万个。
Discovery AI 系统支持多少种云基础设施模型？
系统支持超过 900 种云基础设施和应用模型。
优化前的响应延迟是多少？
优化前的系统端到端响应时间约为 60 秒。
该混合架构使用了哪些关键技术组件？
采用 Amazon Titan 嵌入检索、Cohere Rerank 3.5 重排序以及 Anthropic Claude Haiku 4.5 模型选择器。
该系统何时正式投入生产？
系统自 2026 年 3 月起投入生产。