大模型路由与网关

LLM Gateway 是一个用 TypeScript 编写的大模型网关工具，核心功能是帮你把各种 AI Agent 和应用连接到任意的大模型提供商。 在实际的 AI 应用开发中，直接硬编码某个厂商的 API 往往会带来很多麻烦。你需要处理不同模型的接口差异、监控调用成本、甚至在某个 API 宕机时进行流量路由。这个项目就是为了解决这些基础设施层面的痛点。它不仅充当了一个统一的路由层，还内置了成本追踪和可观测性功能。 别把它看成魔法棒，它更像是一个实用的中间件。如果你正在构建一个需要接入多个大模型（比如同时使用 OpenAI 和 Anthropic），并且需要对用户的 API 调用进行精细化管理的系统，这类网关工具是架构中不可或缺的一环。