AI INDEX工具 · 发现 · 评测 · 应用
返回首页搜索

当团队的 API Key 散落一地:New API 是怎么当那个「中间人」的

你同时在用 OpenAI、Claude、Gemini、DeepSeek,外加一两台本地 Ollama。每家一套鉴权、一套协议、一套账单,月底对账要开五六个后台。New API 要解决的,正是「多模型接入成本高、切换麻烦、计费分散难管」这件让人头大的事——它不直接生产 token,而是把分散的上游收拢到同一个入口。

  • 开源 LLM 网关
  • 基于 One API 二次开发
  • 多协议互转
  • 密钥与额度管理
  • 私有化部署
  • Go 语言构建

一句话认识它:New API 是一个开源的 AI 大模型接口管理与分发系统,项目明确基于 One API 二次开发,定位为一层可私有部署的「AI 网关 / 资产中台」:管理员把合法取得的上游凭据配置成渠道,系统再把它们统一封装为 OpenAI 兼容(并支持 Claude、Gemini 兼容)格式对外服务,让调用方用同一套代码切换底层模型,无需为每家上游单独维护密钥、限流与计费逻辑。

先聊清楚:New API 到底在帮谁解决什么问题

下面这段对话,是我们在帮一个三人小团队接入多模型时反复讲过的内容。把它当成一份「白话版说明书」,你能更快判断自己到底需不需要它。

我直接用各家官方 SDK 不行吗?为什么非要在中间塞一个 New API?

能用,但代价是「碎片化」。OpenAI、Anthropic、Google 的鉴权方式、请求体、模型名、限流与计费口径都不一样。业务代码一旦直接绑定每一家上游,想换模型、做容灾、核算成本都会越来越复杂。New API 把这一切收拢成同一个 OpenAI 兼容入口,你的应用只记一套网关地址和一个令牌,模型怎么换、上游怎么变,全在管理端控制。换句话说,它卖的不是模型能力,而是「统一接入与治理」。

那它和 One API 是什么关系?我直接上 One API 不就完了?

New API 是 One API 的「实质重写与增强版」。两者同源,但 New API 在后面补了大量原版缺失的东西:更现代的 Web 管理界面、更丰富的模型覆盖、内置用户与计费、模型路由策略、跨格式协议转换,以及可视化看板。如果你只需要最基础的转发,One API 也能跑;但一旦涉及多用户、配额、付费与运维看板,New API 的完成度明显更高。

「多协议互转」到底转的是什么?我的代码要改吗?

转的是请求与响应体的格式。Claude 的 Messages 格式、Gemini 的原生 schema、Azure 的变体,在网关处被自动翻译成 OpenAI 兼容结构,你的业务代码只写 OpenAI 风格的调用,New API 再去适配各家原生协议。它还适配了 OpenAI Responses、Realtime 实时语音、Rerank 重排序、图像与音频等多种任务类型。对调用方而言,无论底层是 GPT、Claude 还是 DeepSeek,统一都是 OpenAI 格式的接口,切换模型往往只改一个 model 参数名。

密钥和额度是怎么管的?我给同事开子账号会不会乱套?

这是 New API 相对纯转发工具最核心的增值层。上游的真实 Key 只存在管理端数据库里,对外分发的则是按用户自动生成的令牌。你可以为每个用户设每日/每月调用限额、限定可用模型列表、做令牌分组,甚至按 Token 或按请求计费。这种「上游 Key 收口 + 下游令牌分发」的二层结构,既避免把主密钥直接散给每个人,也方便你对自己的用户做成本核算与转售。

如果某家上游宕机或者触限流,会直接报错给用户吗?

不会直接挂。New API 支持渠道加权随机、优先级路由与故障转移:当某个渠道报错或超时时,请求会自动切到下一个可用渠道,对调用方表现为「无感切换」。你还能配置重试次数、缓存(Redis 或内存)来进一步稳定服务质量。这也是它被称为「为生产负载做冗余」的原因。

部署麻烦吗?我一个不想碰 Kubernetes 的人能跑起来吗?

官方推荐 Docker Compose,三条命令就能起来;也提供单条 docker run 用 SQLite 跑(注意把 /data 挂到宿主机做持久化)。生产环境可换 MySQL(≥5.7.8)或 PostgreSQL(≥9.6)。多机部署时务必设置 SESSION_SECRET 与 CRYPTO_SECRET 环境变量,否则登录态与 Redis 缓存会出问题。整体门槛对会一点服务器的个人开发者很友好。

八块能力拆解:它到底能替你管哪些事

把「网关 + 资产中台」这件事拆开,New API 真正能落地的能力大致是下面这八块。不必全用,按团队阶段取需要的即可。

① 多协议互转

将 OpenAI、Claude、Gemini 等不同格式统一转换为 OpenAI 兼容接口,调用方无需修改代码即可切换底层模型,覆盖 Chat、Embedding、Image、Audio、Realtime 与 Rerank 等任务。

② 统一渠道与密钥

集中存储多家供应商的真实 API Key,按渠道配置优先级、权重、价格与分组;上游密钥不对外暴露,降低泄露风险。

③ 令牌配额与分组

为每个用户签发独立令牌,设置每日/每月限额、可用模型白名单与令牌分组,适合多租户与团队内部分账。

④ 智能路由与容灾

支持渠道加权随机、优先级路由与故障转移,某渠道报错或限流时自动切到下一可用渠道,对调用方无感。

⑤ 用量统计与计费

内置用量看板、账单与余额管理,支持按 Token 或按请求计费;可对接易支付(YiPay)等实现在线充值与额度预警。

⑥ 多用户与第三方登录

除账号体系外,支持 Telegram、OIDC、LinuxDO 等第三方登录与增强鉴权,方便团队与社区场景接入。

⑦ 缓存与高并发

支持 Redis 缓存与内存缓存,配合 Golang + Gin 的高并发底座,满足中小型生产负载的吞吐需求。

⑧ 丰富模型生态

除主流大模型外,还适配 Midjourney 代理、Suno 音乐、Rerank 重排等能力,并支持本地模型(如 Ollama)作为渠道接入。

它和 One API、LiteLLM 到底差在哪

选型时最常拿来比的就是这三个。下面这张表把关键差异摆清楚——注意它们解决的是不同层级的问题,并非完全替代关系。

维度New APIOne API(原版)LiteLLM
项目起源基于 One API 二次开发、实质重写增强New API 的上游基线独立的路由代理层
开源许可官方仓库以 LICENSE 文件为准(社区有 AGPL-3.0 与 MIT 两种说法)MITMIT
管理界面内置可视化 Web 控制台、看板、用户管理有基础界面界面较简易,偏工程化
计费与配额内置用户、配额、邀请码、在线支付基础功能通常需自建
路由容灾加权随机、优先级、故障转移、重试支持支持,偏代码配置
协议转换OpenAI/Claude/Gemini 互转,覆盖多种任务以 OpenAI 兼容为主以 OpenAI 兼容为主
最合适人群需要多模型分发、多用户计费的团队/创业者轻量、小流量部署想要轻路由层的工程团队

四个最容易踩的误区

✕误区一:New API 能「凭空」调用模型。

误区一:New API 能「凭空」调用模型。它只是网关,不生产 token;要跑通,你必须自己持有上游供应商的合法 Key 并配置为渠道,否则没有任何模型可被转发。

✕误区二:它是官方服务商。

误区二:它是官方服务商。New API 是中间层,既不是 OpenAI 也不是任何模型厂商,不对模型质量、合规与可用性负责;上游条款与当地法规仍需你自己遵守。

✕误区三:开源就能随意闭源封装转售。

误区三:开源就能随意闭源封装转售。项目中存在 AGPL-3.0 的说法,其网络条款要求:若修改后作为网络服务对外提供,需以相同许可公开修改;做闭源包装前务必核对官方 LICENSE 与合规要求。

✕误区四:默认账号密码无所谓。

误区四:默认账号密码无所谓。官方镜像默认管理员账号 root、密码 123456,部署后必须第一时间修改并妥善保存密钥与数据库,否则等同于把网关敞开给外人。

常见问答

New API 和 One API 最大的区别是什么?

New API 是 One API 的增强重写版,差异集中在更现代的 Web 管理界面、更丰富的模型覆盖、内置用户与计费系统、模型路由策略与跨格式协议转换;原版更轻量,适合小流量基础转发。

它真的支持本地模型吗?

支持。你可以把 Ollama 等本地模型服务作为一条渠道接入,配置完成后本地模型也能通过同一个统一 API 端点被调用,和云端模型混用同一套代码。

上游供应商宕机时会怎样?

New API 支持渠道加权随机、优先级路由与故障转移;当某渠道报错或超时会自动切到下一可用渠道,对调用方表现为无感切换,配合重试与缓存可进一步稳定服务。

密钥安全怎么保证?

上游真实 Key 只存于管理端数据库,对外分发的是按用户自动生成的令牌;配合令牌限额、模型白名单与分组,既能收口主密钥,也方便对内部分账与对外转售。

开源协议会不会影响我的商用?

社区对许可有 AGPL-3.0 与 MIT 两种说法,最稳妥的做法是直接看官方仓库的 LICENSE 文件。若做闭源网络服务包装,需特别注意 AGPL 的网络条款,必要时改用 LiteLLM(MIT)等替代方案。

个人开发者部署要多久?

用官方 Docker Compose 或单条 docker run(SQLite)通常几分钟可起;生产环境建议换 MySQL/PostgreSQL 并挂载数据卷,多机部署记得设置 SESSION_SECRET 与 CRYPTO_SECRET。

相似工具推荐

参考资料

  1. 来源:New API 官方 GitHub 仓库(项目定位、基于 One API 二次开发、支持的模型与接口类型):https://github.com/Calcium-Ion/new-api
  2. 来源:New API 官方文档(部署方式、渠道配置、缓存与多数据库支持):https://docs.newapi.pro/
  3. 来源:OpenTools — New API 工具条目(40+ 供应商、自动密钥轮转与故障转移、按用户配额与计费说明):https://opentools.ai/tools/newapi
  4. 来源:X-CMD — new-api 安装与介绍(AGPL-3.0 许可、与 One API / LiteLLM / OpenRouter 的差异对比):https://www.x-cmd.com/install/new-api
  5. 来源:江明涛技术博客 — New API 开源网关详解(Star / Fork 数据、v1.0.0-rc 版本、渠道与额度模型):https://www.jiangmingtao.com/articles/10685-new-api-open-source-guide
  6. 来源:腾讯云开发者社区 — 《狂揽 7.5k 星!这款开源 API 网关…》(多模型统一网关、企业级权限、推理力度分级):https://cloud.tencent.com/developer/article/2521915
  7. 来源:einverne 博客 — 用 New API 打造个人 AI 网关(统一管理多模型、OpenAI 兼容、Playground 实测):http://cloudfrontblog.einverne.info/post/2026/06/new-api-unified-llm-api-management.html
  8. 来源:One API 原项目 GitHub(New API 的上游基线,理解其能力演进脉络):https://github.com/songquanpeng/one-api
AI INDEX · New API 收录页
内容整理自公开资料,产品能力、定价与开放范围以官网实时公布为准。