本文介绍如何为你的工作负载选择合适的生成式 AI定制化方法,避免过度工程化或投入不足。
AWS通过 Amazon Bedrock提供来自 Anthropic、Meta、Mistral和 Amazon的基础模型,并提供从聊天机器人、代码助手到文档处理器和自主智能体的构建基础设施。模型已经可用。更难的问题是:针对你的具体问题,该如何使用它们。
能够访问 Anthropic Claude、Amazon Nova或 Llama,并不自动意味着你知道如何让它们适用于你的特定用例。你应该编写更好的提示词?用检索增强生成(Retrieval Augmented Generation,RAG)接入你的文档?微调?从头训练?大量选项会造成决策瘫痪,选错代价高昂。
团队常常直接跳到微调,而一个结构良好的提示词本可以在一个下午解决问题。另一些团队则在用例明显需要领域特定训练数据时,仍数周停留在提示工程上。两种错误都会造成真实的计算成本、发布延迟的时间成本,以及模型输出无法打动利益相关者时的可信度损失。
本文为你提供一个8步决策框架,即 AWS上的生成式 AI定制化光谱。读完后,你将知道哪种方法适合你的用例、成本是多少、需要多少数据,以及何时升级到下一层。核心原则:从最简单的方法开始,只在必须时才深入。
解决方案概览定制化光谱是一个从最简单到最复杂的可视化阶梯:并非每个生成式 AI问题都需要相同程度的投入。定制化光谱是一个阶梯,每上一级都会增加工作量、成本和数据需求,但也会增加你获得的控制程度和领域特异性。
该光谱分为三个类别:
使用(USE):不要碰模型。改变你与它交谈的方式。步骤1–2:按原样使用现有模型,或通过系统指令、少样本示例和思维链推理来改进提示词。当你从生产工作负载中的一个提示词扩展到数百个提示词时,可以使用提示词评估,根据准确性和稳健性指标衡量提示词质量。提示词优化会自动重写提示词,使其在你选定的模型上表现更好,从而消除过程中的手动试错。
增强(ENHANCE,驾驭模型):在模型周围添加东西。权重保持冻结。步骤3–5:用你的文档为模型提供依据(RAG),缓存昂贵的提示词,或将大模型的知识蒸馏到更小、更快的模型中。这就是业界所说的“驾驭”模型:用外部工具、数据源和优化方法将其包裹起来,同时保持其权重不变。
训练(TRAIN):改变模型本身。步骤6–8:用你的标注