引擎无关的 LLM 网关

SMG 是一个用 Rust 编写的、与推理引擎无关的 LLM 网关。它不仅提供了对 OpenAI 和 Anthropic API 的全面兼容，还能无缝对接 SGLang、vLLM、TRT-LLM 等多种底层推理框架。项目还引入了 gRPC 管道、感知 KV 缓存的路由、WASM 插件以及 MCP 支持。 真正难的地方不是做一层简单的 API 转发，而是如何在多模型、多引擎的复杂环境下，实现高效的流量调度和状态管理。SMG 试图通过感知 KV 缓存的路由和分词缓存等底层优化，来榨干推理集群的性能。 对于需要管理大规模 LLM 推理服务的企业来说，这种高性能的中间件正变得越来越重要。它不仅解决了多模型接入的繁琐问题，还在性能优化上给出了相当硬核的方案。