助力生产环境中扩展 AI 的经济性
分析师称，该工具专注于自动优化提示词，将帮助企业应对运营挑战，特别是在生产环境中扩展生成式 AI 工作负载时面临的成本问题。Avasant 研究总监 Gaurav Dewan 表示："企业对这类工具的需求是由扩展 AI 时的成本压力和运营复杂性共同驱动的，而非单一因素。"他还指出："随着企业将生成式 AI 工作负载从实验阶段推向生产阶段，推理成本迅速成为董事会层面关注的问题。当应用大规模运行时，即使提示词效率有适度提升，也能对运营成本产生显著影响。"
这位分析师进一步指出，延迟也正成为一项关键指标，尤其是对于面向客户的 AI 服务而言，响应速度较慢会直接影响用户接受度；提示词优化可以通过更系统地优化质量、延迟和成本，而不是依靠反复试验，在这方面发挥作用。此外，Greyhound Research 首席分析师 Sanchit Vir Gogia 表示，企业对多模型 AI 策略的采用不断增加，也使得对自动提示词优化工具的需求日益增长。他说，随着企业寻求根据成本、性能和治理要求在不同模型之间灵活转移工作负载，多模型的采用正在加速，而提示词优化对于确保应用和工作流能够在不同模型之间切换，同时避免出现行为不一致或性能下降的情况，正变得越来越关键。
超大规模云服务提供商之间竞争加剧
事实上，在企业将生成式 AI 部署投入运营的过程中，并非只有 AWS 着眼于提示词优化。谷歌云（Google Cloud）已在其 Gemini Enterprise Agent Platform 中提供了类似的提示词优化工具，该工具可以使用评估数据集和指标自动优化提示词并在不同模型间进行基准测试；而微软 Azure AI Foundry 则提供了类似的功能，专注于企业 AI 应用的提示词编排、评估管道、变体测试和工作流基准测试。
Gogia 认为，超大规模云服务提供商之间竞争的加剧，反映了一场围绕企业 AI 运营层控制权的更广泛竞争，该运营层负责大规模地评估、监控、治理、优化、迁移、保障和管理 AI 系统。在他看来，AWS 通过将多模型访问与提示词优化、评估、迁移支持和治理功能相结合，将 Amazon Bedrock 定位为这一运营层。同时，Gemini Enterprise Agent Platform（前身为 Google Vertex AI）正在利用其 AI 和分析生态系统，微软 Azure AI 正在将 AI 治理融入企业软件工作流，而 OpenAI 和 Anthropic 则在加强与自身模型生态系统紧密相关的以开发者为中心的评估和提示词工具。他补充说，与此同时，Databricks 和 Snowflake 等平台正在将 AI 可观测性和治理功能更紧密地嵌入企业数据环境，而 LangSmith 等框架和 Promptfoo 等开源工具则吸引着寻求更高可移植性和模型中立性的企业。
