开源自部署 · 永久免费
vLLM
vLLM 是加州大学伯克利分校开源的高吞吐大模型推理引擎，支持 PagedAttention 技术，可高效部署主流开源模型，是自建推理服务的首选。
关键信息一览
| 免费额度 | 完全免费（需本地算力） |
| 使用限制 | 需要 NVIDIA GPU |
| 网络要求 | 国内直连 |
| 所属分组 | 开源自部署 |
| 可用模型 | Llama-3.3Qwen2.5Mixtral |
| 收录时间 | 2026-07-26 |
特色功能标签
高吞吐推理PagedAttention分布式部署OpenAI 兼容
vLLM 是加州大学伯克利分校开源的高吞吐大模型推理引擎，支持 PagedAttention 技术，可高效部署主流开源模型，是自建推理服务的首选。
| 免费额度 | 完全免费（需本地算力） |
| 使用限制 | 需要 NVIDIA GPU |
| 网络要求 | 国内直连 |
| 所属分组 | 开源自部署 |
| 可用模型 | Llama-3.3Qwen2.5Mixtral |
| 收录时间 | 2026-07-26 |
