GitHub 高星项目· 60 projects
由潜龙编辑团队甄选,每周更新最值得看的开源项目。我们看重的不是 Star 多少,而是它解决问题的方式。
Kubernetes 上的标准化 AI 推理平台
KServe 是一个在 Kubernetes 上运行的标准化 AI 推理平台,支持生成式和预测式模型的分布式部署。对于那些需要在生产环境中大规模运行机器学习模型的团队来说,这是一个非常硬核的基础设施项目。 它解决的核心痛点是模型部署的复杂性。无论是传统的机器学习框架,还是现在流行的大语言模型(LLM...
LiteRT-LM
LiteRT-LM 是 Google 推出的一款开源推理框架,专门用于在边缘设备上部署大语言模型。它使用 C++ 编写,主打高性能和生产级可用性。 这个方向最近挺热,原因也不难理解:随着端侧算力的提升,把 LLM 塞进手机或物联网设备里已经成为大厂的必争之地。Google 释出这样一个底层框架,显然...
无 Python 的 Rust 推理服务器
Shimmy 是一个完全用 Rust 编写的本地大模型推理服务器,主打“无 Python”环境。它兼容 OpenAI 的 API 格式,支持 GGUF 和 SafeTensors 格式的模型权重。作为一个单一的二进制文件,它的部署体验非常干净利落。 真正难的地方不是写一个 API 包装器,而是处理底...
CC Workflow Studio:Claude Code 的工作流自动化工具
CC Workflow Studio 是一个专门为 Claude Code 生态打造的 VS Code 扩展。它的核心目标是简化和自动化基于 AI Agent 的开发工作流。通过整合 MCP(模型上下文协议)工具、子 Agent 和斜杠命令,它试图让开发者能更顺畅地编排复杂的 AI 任务。 这里的一...
移动端自动化的 MCP 服务器
这个项目的切入点非常精准:它为移动端自动化和数据抓取提供了一个基于 MCP(Model Context Protocol)的服务器实现。随着大模型在桌面端的自动化能力逐渐成熟,如何让 AI 稳定地操作手机成了一个新的技术热点。 简单说,它想把 iOS 和 Android 设备(包括模拟器和真机)的操...
编程智能体的便携记忆层
ByteRover CLI(前身为 Cipher)定位是自主编程智能体的“便携式记忆层”。当 AI 助手在处理复杂代码库时,最大的痛点往往是上下文丢失或对项目全局缺乏长期记忆。 这个工具的思路挺有意思,它把记忆管理独立出来,作为一个专门的 CLI 层来服务各种 Coding Agent。通过解耦记忆...
开源 AgentOS(原 AutoGen)
简单说,这是曾经大名鼎鼎的 AutoGen 框架的全新演进版本,现在被重新定位为开源的 AgentOS。它基于 Python 开发,依然专注于多智能体对话和复杂的协作工作流。 真正难的地方不是让单个模型回答问题,而是让多个具备不同设定的智能体在一个框架内互相配合、纠错并完成长流程任务。新版本不仅继承...
事件驱动的多智能体编排
简单说,这是一个基于事件驱动架构的多智能体编排框架。在构建复杂的 AI 系统时,真正难的地方往往不是让几个大模型互相聊天,而是如何让它们与现实世界的数据源和企业现有系统进行可靠的交互。 Solace Agent Mesh 试图通过事件驱动的机制来解决这个集成瓶颈,让 AI 智能体能够顺畅地处理复杂的...