Rust 编写的高性能 LLM 网关

这个项目的方向挺直接，就是要做一个与底层推理引擎解耦的高性能大模型网关。SMG 用 Rust 编写，能够将 vLLM、TRT-LLM、SGLang 等各种推理后端的接口，统一转换为标准的 OpenAI 和 Anthropic API 格式。 真正难的地方不是做个简单的 API 转发，而是如何在网关层做深度的性能优化。SMG 引入了基于 gRPC 的流水线、感知 KV 缓存的路由机制，以及分词缓存等硬核特性。此外，它还支持 WASM 插件、MCP 协议和多租户认证，功能覆盖非常全面。 它更像是在摸索下一代 AI 基础设施的形态。对于那些需要自己部署大规模开源模型，并且对吞吐量、延迟和资源利用率有极高要求的企业团队来说，这种在网关层做极致优化的开源方案，是一个非常值得关注的技术方向。