\n\nPortkey开源了其AI网关服务，旨在为生产AI部署提供免费的治理和可观测性，以避免SaaS订阅。该网关每天处理数万亿令牌和AI请求，管理高额AI支出。新版本强化了对AI代理工作流的治理、策略控制和实时指标，强调代理已成为企业关键的“操作执行者”，需要像关键基础设施一样严格管理。
译自：Portkey open-sources its AI gateway after processing 2 trillion tokens a day
作者：Adrian Bridgwater
Portkey 将自己定义为一家为生产级AI部署提供控制平面的公司。本月，该公司推出了其全新统一的Portkey网关服务，并将其完全开源。
与任何这一级别的网关技术（例如API网关）一样，这款品牌产品作为控制平面，用于管理和监控AI模型流量和代理行为，同时还在代理运行的基础设施上强制执行策略控制。
SaaS服务的颠覆性之举？
关于为何推向开源如此重要，其论点在于需要与当今许多AI模型、工具和功能所采用的开放方法保持一致。
Portkey首席执行官兼联合创始人Rohit Agarwal告诉《The New Stack》，如果不转向开源，AI基础设施的每个主要计算功能或服务都将需要单独的SaaS订阅。
在这种情况下，这将涵盖治理、可观测性、身份验证、成本控制，以及Portkey用于管理AI代理的MCP网关（现也已开源），以及它们如何在企业工具和系统中运行。
在基础中寻找自由
Agarwal表示：“核心网关技术应该民主化，也就是说，每个在生产中构建AI的工程团队都需要治理和可观测性——这不应该需要SaaS合同。我们开源的，是我们认为应该作为标准参考架构存在的东西。我们（或任何其他人）在其之上建立的价值才是我们经营业务的地方。但基础呢？那应该是免费的。”
Agarwal的论断大部分站得住脚，但为了暂时缓和他的热情，我们可以指出，一些本地的自托管部署可以规避对SaaS合同的需求。此外，还有按需付费的合同选项，客户只需支付他们使用的令牌、API调用或其他推理相关功能的费用。但总体而言，这里的开源推动（可以说）在很大程度上是值得称赞的。
Portkey的网关在全球范围内运行在“生产AI系统的关键路径”中。该公司的平台每天已处理数万亿个令牌和超过1.2亿个AI请求，管理着2.4万家组织每年1.8亿美元的AI支出。
到2027年令牌处理量增加1000倍
“企业最终将AI投入生产，当你投入生产时，你会很快意识到，在那种规模下，你需要一个像网关这样的东西来管理整个公司的所有令牌流量。
团队将超出预算，交换个人身份信息数据，运行不合规的模型等等。Portkey一天内处理了2万亿个令牌，正是为了解决这个问题——我今年的目标是将其乘以1000倍，”Agarwal说。
他解释说，最初，Portkey的网关为软件工程和数据科学团队提供了在生产中运行AI所需的基础，他指的是在所有主要模型和提供商之间实现快速、可靠的路由。这次新发布提供了全面的治理和成本控制层，同时增加了通过公司新开源的MCP网关管理和治理代理工作流的能力。
MCP彻底改变了在生产中运行AI的意义……你不能让成千上万的工程师都通过一个MCP服务器路由，却没有办法在出现问题时将其关闭。
MCP网关需要一个“门闩”
Agarwal说：“MCP彻底改变了在生产中运行AI的意义。六个月前，讨论的焦点是如何管理LLM流量；现在，企业正在询问如何管理能在其系统内部实际采取行动的代理。LLM存在的担忧也存在于MCP中；只是风险更高了。
“你不能让成千上万的工程师都通过一个MCP服务器路由，却没有办法在出现问题时将其关闭。这就是为什么MCP网关是我们构建的采用最快的东西——企业不想阻止MCP，他们想要一种信任它的方式。”
在新开源的Portkey网关内部，有新的使用策略控制，帮助工程师在网关层面定义和执行模型使用规则、限制和访问控制。模型目录提供了跨提供商持续更新的模型注册表，这里的控制平面连接服务将网关连接到可观测性和管理基础设施。
此外，实时指标使团队能够跟踪成本、延迟和使用情况。MCP注册表帮助用户在一个地方发现、管理和版本化MCP服务器。最后，Portkey为MCP流量提供了企业级身份验证，内置支持OAuth 2.1和OAuth 2.0。
代理现已成为操作执行者
Portkey的技术主张基于我们接受和理解代理软件实例不仅仅是普通软件功能的能力。一旦代理访问工具、查询系统并执行操作，它们就成为企业内部的“操作执行者”。
顺着这个论点，这意味着组织需要像对待任务关键型技术基础设施的任何其他元素一样对待代理实例。在这里，一个能够管理访问、强制执行策略并提供对正在发生的事情的实时可见性的控制平面开始得到验证。全 端 工智能
