BerriAI/litellm
最快、最精简的AI网关。 Rust 核心与 Python SDK。以 OpenAI（或本机）格式调用 100 多个 LLM API，具有成本跟踪、护栏、负载平衡和日志记录 [Bedrock、Azure、OpenAI、Anthropic、OpenAI、VertexAI、vLLM、Nvidia NIM]
项目简介
BerriAI/litellm 是一个用 Python 编写的开源项目，在 GitHub 上归入「后端库」这一类。目前累计 55,024 个 Star、10,178 次 Fork，许可协议为 自定义许可。
它的核心定位是：最快、最精简的AI网关。 Rust 核心与 Python SDK。以 OpenAI（或本机）格式调用 100 多个 LLM API，具有成本跟踪、护栏、负载平衡和日志记录 [Bedrock、Azure、OpenAI、Anthropic、OpenAI、VertexAI、vLLM、Nvidia NIM]。官方仓库把它描述为这样的工具，我们在收录时按中文语境重新整理了这个说法，方便你快速判断它是否匹配手头的需求。
从仓库标签看，这个项目主要围绕 ai-gateway、anthropic、azure-openai、bedrock、gateway 展开。如果你正在这几个方向上找现成的实现，它值得先浏览一遍 README 与示例目录。
仓库原文：The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
关键信息
| 主要语言 | Python |
|---|---|
| 开源许可 | NOASSERTION |
| 仓库创建 | 2023-07-27 |
| 最近推送 | 2026-07-29 |
| 收录时间 | 2026-07-30 |
| 仓库地址 | https://github.com/BerriAI/litellm |
| 克隆命令 | git clone https://github.com/BerriAI/litellm.git |
| 项目官网 | https://docs.litellm.ai/docs/ |
适合什么场景使用
直接看 README 的功能清单与快速开始，判断能否替换掉你正在手写的部分。
star 数与近期推送时间能说明项目是否活跃，挑最近半年仍有提交的模块读更划算。
先确认许可协议与 issue 的处理速度，再评估维护成本，不要只看 star 数量。
技术标签
- ai-gateway
- anthropic
- azure-openai
- bedrock
- gateway
- langchain
- litellm
- llm
