引言
MCP 网关、MCP 代理、AI 网关和API 网关都可能部署在客户端与上游系统之间,但它们负责的协议和策略边界并不相同。
API 网关主要治理 HTTP、gRPC 等 API 流量;AI 网关增加模型提供商路由、Token 统计和模型策略;MCP 网关治理智能体到工具的 MCP 请求;MCP 代理则可能只负责转发或协议适配。本文将厘清这些角色,并说明 Apache APISIX 与 AISIX 分别适合承接哪些流量。
术语解析
什么是 API 网关?
API 网关是位于客户端和服务端之间的反向代理,主要提供以下功能:
- 请求路由
- 身份验证与授权
- 限流与流量整形
- 可观测性(日志、指标、链路追踪)
- 缓存、请求转换等其他功能
什么是 MCP 网关?
**MCP(模型上下文协议,Model Context Protocol)**用于连接 AI 应用与工具、资源和提示词。MCP 规范定义了 Host、Client 和 Server,并没有标准化“MCP 网关”这一产品角色。这里的 MCP 网关指在 MCP Client 与 MCP Server 之间实施集中式工具访问策略的部署模式。
MCP 网关的常见职责包括:
- 按身份、租户或环境控制可访问的 MCP Server 和工具
- 验证 MCP 协议版本并保护 Streamable HTTP 流量
- 记录工具调用及结果,实施限流、预算和安全策略
- 将请求路由到经过批准的 MCP Server
什么是 MCP 代理?
“MCP 代理”也没有统一的标准定义。实践中,它通常负责将本地或远程 MCP 流量暴露到稳定端点、桥接不同传输方式,或在不理解工具语义的情况下转发消息。代理可以解决连接问题,但并不必然提供工具级授权、审计、配额或治理能力。
什么是 AI 网关?
AI 网关是一个更广泛的概念,通常涵盖具备以下能力的网关:
- 通过 REST 或流式 API 与 LLM 进行交互
- 在多个 AI 提供商(如 OpenAI、DeepSeek、Claude 等)之间进行路由转发
- 提供跨不同 LLM 的故障转移(Fallback)和重试逻辑
- 追踪 Token 消耗、延迟和错误率
流量路径可以重叠,但职责不同
同一个 AI Agent 工作流可能同时经过 AI 网关和 MCP 网关:前者管理模型调用,后者管理工具调用。两者可以部署在同一平台中,也可以是相互独立的策略层。
1sequenceDiagram
2 participant Agent
3 participant Gateway
4 participant LLM as LLM Provider (e.g., OpenAI)
5 participant MCP as MCP Server
6
7 Agent->>Gateway: POST /v1/request
8 Gateway->>Gateway: 身份验证/授权,限流
9
10 alt AI API (例如 OpenAI、DeepSeek)
11 Gateway->>LLM: 转发请求
12 LLM-->>Gateway: 流式或批处理响应
13 else MCP 工具调用
14 Gateway->>MCP: 转发 MCP 工具调用请求
15 MCP-->>Gateway: 返回工具调用结果
16 end
17
18 Gateway-->>Agent: 转发响应各类网关的职责对比
| 维度 | API 网关 | AI 网关 | MCP 代理 | MCP 网关 |
|---|---|---|---|---|
| 主要流量 | HTTP、gRPC 等 API | 模型提供商 API | MCP 传输流量 | MCP 方法与工具流量 |
| 协议感知 | API 协议与路由 | 模型请求、响应、流式输出和用量 | 视实现而定,通常侧重传输 | MCP 版本、能力、方法和工具 |
| 常见策略对象 | Route、Service、Consumer | 模型、提供商、租户、Token 预算 | 端点或连接 | MCP Server、工具、调用方、请求 |
| 主要价值 | 集中治理 API 流量 | 模型路由、成本与安全治理 | 连接或兼容性适配 | 工具访问治理与审计 |
以上是常见架构模式,不代表所有产品都具备表中的全部能力。选型时应核对具体实现和支持的协议版本。
Apache APISIX 与 AISIX 分别适合什么场景
Apache APISIX 是开源 API 网关,可以在配置后为 API 流量提供路由、认证集成、限流、可观测性和流式代理等能力。它的 AI Proxy 插件支持模型提供商流量,但标准 APISIX Route 默认不具备 MCP 方法、工具和协议版本感知能力,因此不应直接描述为 MCP 网关。
AISIX AI 网关面向模型、Agent 和工具流量。开源 AISIX 提供有明确产品文档支持的 MCP Server 注册、工具访问控制、限流、护栏和可观测性能力;预算管理属于 AISIX Cloud 提供的控制面能力。需要 MCP 工具治理时,应按照 AISIX MCP 网关配置文档验证部署方式和支持的协议版本。
使用 ai-proxy-multi 实现重试与故障转移
1sequenceDiagram
2 participant Agent
3 participant APISIX Gateway
4 participant OpenAI
5 participant DeepSeek
6 Agent->>APISIX Gateway: /v1/ai/chat
7 APISIX Gateway->>OpenAI: 转发请求
8 OpenAI-->>APISIX Gateway: 5xx 错误
9 APISIX Gateway->>DeepSeek: 重试请求
10 DeepSeek-->>APISIX Gateway: 返回流式响应
11 APISIX Gateway-->>Agent: 最终响应对于模型提供商流量,APISIX 的 ai-proxy-multi 插件可以配置多个模型实例,并通过 fallback_strategy(例如 http_5xx)处理跨模型或提供商故障转移;ai-proxy 则用于单个模型上游的请求转换与代理。对于需要 MCP 工具级策略的场景,则应使用具备明确 MCP 感知和治理能力的实现。
最佳实践
1. 先确定需要治理的流量
如果目标是普通 API 流量,使用 API 网关;如果要管理模型调用、Token 用量和模型策略,评估 AI 网关;如果要实施工具级授权和审计,则需要 MCP 感知的策略层。
2. 保留流式传输语义
对于模型或 MCP 流式响应,应验证网关是否保留目标协议要求的流式语义,而不是仅检查单个响应头。
3. 默认安全原则
为智能体(Agent)和用户身份验证配置双向 TLS(mTLS)、API Key 或 OIDC,确保默认情况下的安全性。
4. 智能重试
仅在请求具有幂等性,或者智能体状态已妥善保存时,才使用基于插件的重试机制,以避免造成意外副作用。
5. 充分利用日志与指标
通过指标、日志和链路追踪观察经过网关的流量,并为模型调用和工具调用保留能够区分租户、模型、MCP Server 与工具的审计维度。
总结
API 网关、AI 网关、MCP 代理和 MCP 网关可能共享反向代理、认证、限流与可观测性等基础能力,但它们负责的协议和策略对象不同。不要仅凭“网关”这一名称推断产品能力。
普通 API 治理可以交给 Apache APISIX;模型流量可以使用 APISIX ai-proxy、ai-proxy-multi 插件或专门的 AI 网关;需要 MCP Server 聚合、工具级授权和审计时,则应选择明确提供这些能力的 MCP 网关。将边界定义清楚,能避免同一请求被多个策略层重复或矛盾地处理。
