同一家企业，不同部门对于AI的需求不一样。研发注重 AI 编程，市场需要生成文案和图片，客服团队可能更关心回复速度和性价比……
大家的需求不同，对模型的倾向不同，比如像claude、seedance，选择的工具也不同，像codex、workbuddy。**但对企业而言，管理需要统一。**谁用哪些模型，费用归到哪个部门，哪些数据允许外发，出现异常后如何追溯，都要有明确的规则和记录。
MAI Gateway 放在应用与模型之间，正是为了集中处理这些工作。应用负责完成业务，模型负责提供能力。两者之间，需要有一个地方统一处理连接、身份、预算和调用记录。
这套管理如何在系统中实现？**从应用到算力，**MAI Gateway 的产品架构分为五层，每一层承担不同职责，共同支撑企业的日常AI 使用。
**01 应用层，**各部门继续使用适合自己的工具
研发人员打开Agent进行辅助编程，市场人员在创作工具里输入需求，生成图片和视频……员工的工作从这些应用开始。
应用层连接的就是这些AI使用入口**，包括各种AI Agent，AI创作工具，AI Coding，以及各类****业务应用。**
接入时，可以在支持自定义模型接口的应用中配置网关地址和企业令牌。完成适配后，应用就可以把模型请求统一交给网关处理。
供应商密钥和接口配置集中在网关侧，应用使用企业分配的令牌。以后调整模型线路，企业可以集中维护，减少员工重新配置工具的工作。
02 分发与管理层，让每次调用都有规则可依
收到员工的AI请求，MAI Gateway 首先确认这次调用是否具备权限。
网关会同步的企业的****组织架构，让令牌关联到员工、研发部门和项目。请求到达后，网关检查令牌是否有效、来源IP 是否符合规则、目标模型是否在授权范围内，并校验相关预算。
即使员工个人额度还有余额，所属部门预算耗尽后，调用也会受到限制。启用内容安全策略后，请求还会经过敏感信息和提示词攻击检测，按规则脱敏或拦截。通过检查，才进入后续模型调用。
这一层集中管理组织、令牌、权限和配额，也能查看费用**，进行审计管理****。**MAI Gateway 能够控制预算、计量计费、对不同部门、项目、人员和令牌进行精细化的成本分摊，并进行成本归因，最后给出分析报表。
因此，请求进入网关时，身份和费用归属就已经明确。调用产生的用量和费用会关联到相应记录，供管理员查看、财务核对和审计查询。
03 智能调度层，按任务和运行状态分配请求
检查通过后，网关开始决定，这次的请求交给哪个模型、通过哪条线路处理。
客服的高频问答、研发的复杂代码分析、市场的内容生成……**这些情景都对AI调用有不同要求。**管理员可以按业务场景配置路由策略，语义路由则辅助识别请求类型，在预设范围内选择模型。
而如果原定模型供应商返回了超时错误。MAI Gateway 会根据故障转移策略尝试备用线路，继续处理这次请求。员工无需手动更换接口。
智能调度层通过多链路聚合、质量监测和负载均衡分配请求，发现不可用线路后暂停向其分发，恢复后再加入调度**，极大程度上提高调用的稳定性。**
这一层还提供缓存与压缩能力。在适用场景下，复用已有结果、减少冗余内容，可以降低重复调用带来的消耗。
04 模型接入层，把不同来源的模型统一纳管
网关能够选择模型、切换线路，依赖于模型接入层事先纳管的资源。
管理员****在这里维护供应商、接口地址、密钥、模型和价格信息，将比如魔芋API、百炼、豆包及海外模型服务纳入管理，也可以接入企业私有化模型和自定义模型。
模型与供应商分别管理。同一个模型可能由多家供应商提供，各条线路的价格、并发能力和可用状态不同，可以进行横向对比。接入层把资源准备好，调度层再按策略选择和调用。
对企业而言，这意味着可以同时保留多种选择。应用入口可以保持一致，背后的模型资源则根据任务和企业规则变化。
05 算力管理层，看到背后的资源
MAI Gateway 还可以提供相应的算力监控信息。
**这一层支持统一管理企业自有算力设备与云算力，监控节点状态、**GPU **利用率和显存占用。**当内部模型响应变慢时，管理员可以结合调用记录查看资源状态，排查瓶颈，为调度调整或扩容提供依据。
当一次AI任务完成**，结果经网关返回应用层。网关则留下这次调用的用量、费用和处理记录。**
管理员可以在报表里查看项目支出，也可以沿着Trace ID 查询具体请求，核对它经过了哪些检查、走了哪条线路、在哪个环节出现异常，再据此优化配置。
MAI Gateway 的五层架构，让员工使用工具的过程，与企业管理模型、费用和算力的过程连接起来。
下一期，我们将进入MAI Gateway更具体的功能使用场景中。
欢迎获取产品试用！
