企业面临LLM蔓延风险，需AI网关集中治理与控制，实现成本管理、企业可见性、安全赋能开发者。IBM webMethods提供AI网关和API网关集成方案，实现安全、可扩展的AI和自动化。IT领导者应评估AI网关需求。
译自：Taming LLM Sprawl: Why Enterprises Need an AI Gateway Now
作者：Matthias Biehl
随着人工智能成为数字化转型的基石，IT 领导者面临着在保持控制、安全性和成本效益的同时，大规模交付创新的压力。但随着企业采用 LLM 等技术来构建 AI 驱动的体验，一个新的挑战正在浮现：管理企业内部大型语言模型 (LLM) 使用的蔓延。
企业 AI：从实验到代理
生成式 AI (GenAI) 已经从炒作变为现实。各行各业的组织（从金融服务到制造业）已经将 AI 嵌入到核心流程和面向客户的应用程序中。AI 应用程序的参考架构发展迅速，从提示工程到检索增强生成 (RAG)，再到最近的 Agentic AI。
企业 AI 的未来是 Agentic 的。AI 代理是在企业中利用 AI 的最有前途的架构。企业现在正在构建专门的代理来支持其客户和员工的需求。
LLM 蔓延是一种新的企业风险
AI 创新不再局限于集中的 IT 团队。业务部门、创新实验室甚至公民开发者都在启动他们自己的 AI 项目。虽然这种去中心化的创新有利于速度，但它可能会给 IT 带来关键挑战，这些挑战可以归类为 LLM 蔓延：
- 谁在调用 LLM API，频率如何？
- 我们是否正在将敏感数据暴露给外部模型？
- 我们如何跟踪 LLM 使用情况并管理成本？
如果没有适当的治理，企业将面临超支、数据泄露和影子 AI 项目的风险，这些项目可能会破坏安全和合规标准。IT 领导者需要确保 LLM 的使用是安全的、具有成本效益的和受治理的。
AI 网关：集中治理和控制
正如 API 网关 帮助保护企业免受入站威胁一样，AI 网关 帮助保护出站到 AI 服务的流量。它成为您的企业访问和管理 LLM 的战略控制点。
通过将 AI 网关集成到 API 网关中，您可以获得：
- 用于企业范围内使用 LLM 和 GenAI API 的单一访问点。
- 治理和策略执行，以控制谁在何时以何种方式使用什么。
- 通过使用情况分析和仪表板实现成本管理和可见性。
这并不是要减慢创新速度，而是要为 IT 领导者提供负责任地管理创新的工具。
AI 网关中应寻找什么
您应该关注四个领域，以便您的 AI 网关可以应对企业 AI 治理挑战。
1. 成本管理和优化
如果您曾经因为不受控制地调用货币化的 LLM API 而担心企业 AI 项目的成本，那么 AI 网关可以帮助您摆脱这种担忧。网关旨在通过管理并可能降低成本来帮助您重新获得控制权：
- 速率和令牌限制有助于通过根据定义的阈值限制使用来避免预算超支。
- 缓存频繁的提示可以帮助解决冗余调用、成本和响应时间。
这直接支持您的 IT 财务目标：管理支出、预测成本和优化性能。
2. 企业范围内的可见性
随着在整个企业中构建的 AI 项目越来越多，很难跟踪不同的 AI 计划并归因于它们产生的成本。
内置仪表板提供实时洞察：
- 按应用程序、团队或业务部门跟踪 API 调用。
- 了解使用模式并发现异常情况。
- 将成本准确地归因于正确的项目。
这种清晰度有助于证明 AI 投资的合理性，并确定哪些计划可以带来真正的商业价值。
3. 通过安全护栏实现开发者赋能
您希望您的团队快速构建 AI 项目，但仍然以受控的方式进行。AI 网关可以通过以下方式帮助团队在优先考虑安全性的同时进行创新：
- 通过共享企业帐户提供 LLM 访问，从而保护凭据。
- 提供一个自助服务门户，团队可以在其中发现和使用批准的 AI 模型。
- 通过数据屏蔽、访问控制和审计跟踪来执行您的安全和合规性策略。
您不是为每个团队从头开始构建治理，而是为他们提供一个安全的平台来快速行动。
用例：AI 网关增加价值的地方
企业拥有广泛的 AI 项目，从面向客户的应用程序到内部应用程序。
面向客户的应用程序使用 AI 来帮助改善客户体验。AI 聊天机器人是一种新的用户界面形式，可以补充或取代图形用户界面 (GUI)。例如：
- 帮助减少呼叫中心负载的 AI 服务代理。
- 取代复杂界面的会话式旅行代理。
企业中的各个团队正在以各种方式将 AI 集成到内部工作流程中，包括：
- 用于休假预订和工资单问题的 HR 机器人。
- 用于自助排除故障的 IT 支持代理。
无论 AI 模型用于面向客户的应用程序还是内部应用程序，AI 网关都可以帮助您管理访问、提供可见性并控制成本。
展望未来
AI 代理应该智能地行动，因此，他们需要基于 API 的访问来访问 LLM 等 AI 模型。但这还不够；他们还需要安全地访问您的企业 API，以获取数据、触发工作流程并自主行动。组织必须从简单地“使用 LLM”发展到战略性地管理对 LLM 和企业 API 的访问。
这就是 IBM webMethods Hybrid Integration 等工具的用武之地。它提供了一个集成的解决方案，涵盖以下两个方面：
- 用于管理代理对 LLM 的访问的 AI 网关。
- 用于管理代理对企业系统的访问的 API 网关和模型上下文协议 (MCP)。
它们共同构成了安全、可扩展的 AI 和自动化的基础。您可以在不减慢团队速度的情况下获得控制、一致性和可见性。
IT 领导者现在应该做什么
AI 网关正在经历指数级增长——这是有充分理由的。如果您希望您的 AI 战略能够扩展，您应该像管理任何其他企业关键功能一样，使用 AI 网关管理对 LLM 的访问。要评估您的 AI 网关成熟度，请开始问自己以下问题：
- 您是否可以了解您的应用程序对 AI 模型进行的调用？
- 您是否确定所有应用程序都配置为使用企业 AI 帐户？
- 您是否有信心您的应用程序没有将敏感信息发送到外部模型？
如果答案不是一个自信的“是”，那么就该评估您对 AI 网关的需求了。
