API、部署、工作流、代码教程与踩坑记录
组织在构建生成式 AI应用时,通常以相同方式比较模型:每百万 token多少美元。这是每个定价页面上都有的数字,因此也成为每个电子表格中的数字。但生产工作负载并不购买 token。它们购买的是结果:一张已解决的客户支持工单、一份已完成的研究简报、一份正确的财务摘要。在定价页面与结果之间,存在标价忽略
随着客户通过 ChatGPT、Claude等 AI主机交互数字服务,组织需要让服务在这些应用中可访问,并提供不止纯文本的丰富 UI,同时避免绑定单一主机。MCP Apps和 Amazon Bedrock AgentCore可提供该能力。MCP Apps扩展 Model Context Protoco
在构建基于大型语言模型(LLM)的应用时,发送给模型的提示通常包含固定部分和可变部分:固定部分设定上下文,如指令、参考文档和对话历史;可变部分包含实际用户输入。以客服机器人为例,每个请求都以相同文本块开头。 Amazon SageMaker Inference为实时端点提供三种路由策略:RANDOM
Amazon 宣布为 Amazon SageMaker Inference on HyperPod 推出模型缓存(model caching)功能,用于减少大语言模型(LLM)推理部署的冷启动时间。 按照官方博客的说明,在 Amazon SageMaker HyperPod 上部署 LLM 进行推理
亚马逊云科技(AWS)宣布,TwelveLabs 的 Marengo Embed 3.0 已作为嵌入模型(embedding model)在 Amazon Bedrock Knowledge Bases 中正式可用(general availability)。 AWS 指出,视频和媒体资产目前在很大
亚马逊云科技(AWS)宣布,Amazon Quick现已在桌面端正式可用(generally available),支持 macOS与 Windows。其移动端 iOS和 Android新增活动流(activity feed),将电子邮件、日历、CRM和消息整合为优先级视图。Amazon Quick
使用 Amazon Quick Automate构建端到端的 Request for Information(RFI)问卷工作流,可解决组织在各种规模下都会遇到的挑战。典型企业每年可能处理数百份 RFI问卷,每份问卷都以复杂的多选项卡工作簿形式出现,其中包含层级化问题集、分类元数据和多种响应类型。这
如今软件开发领域不断冒出新词汇,这是 AI 工具持续引入的结果,难免让人应接不暇。其中一些词汇描述了人们新近采用的有用模式,另一些只是给早已存在的事物套上了花哨名字,还有一些仍在被实时定义之中。 在 GitHub Podcast 最新一期节目中,Marlene Mhangami、GPS 与主持人一起
过去,小型功能请求最昂贵的部分通常是编写代码;现在,它常常是讨论是否要编写代码的会议。工程师很早就知道,多数“小请求”并不小:需要测试、发布计划、边界情况,以及上线后有人负责其行为。一个两小时的改动如果触及系统错误的部分,可能变成两周的分心。 对某类改动,编写第一版代码不再是昂贵步骤。文章以在设置页