NVIDIA/TensorRT-LLM
TensorRT LLM为用户提供了一个易于使用的Python API来定义大型语言模型(LLM) ，并支持最先进的优化，以在NVIDIA GPU上高效地执行推理。TensorRT LLM还包含用于创建Python和C + +运行时以高性能方式编排推理执行的组件。
项目简介
NVIDIA/TensorRT-LLM 是一个用 Python 编写的开源项目，在 GitHub 上归入「实用工具」这一类。目前累计 14,226 个 Star、2,609 次 Fork，许可协议为 自定义许可。
它的核心定位是：TensorRT LLM为用户提供了一个易于使用的Python API来定义大型语言模型(LLM) ，并支持最先进的优化，以在NVIDIA GPU上高效地执行推理。TensorRT LLM还包含用于创建Python和C + +运行时以高性能方式编排推理执行的组件。官方仓库把它描述为这样的工具，我们在收录时按中文语境重新整理了这个说法，方便你快速判断它是否匹配手头的需求。
从仓库标签看，这个项目主要围绕 blackwell、cuda、llm-serving、moe、pytorch 展开。如果你正在这几个方向上找现成的实现，它值得先浏览一遍 README 与示例目录。
仓库原文：TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.
关键信息
| 主要语言 | Python |
|---|---|
| 开源许可 | NOASSERTION |
| 仓库创建 | 2023-08-16 |
| 最近推送 | 2026-07-27 |
| 收录时间 | 2026-07-27 |
| 仓库地址 | https://github.com/NVIDIA/TensorRT-LLM |
| 克隆命令 | git clone https://github.com/NVIDIA/TensorRT-LLM.git |
| 项目官网 | https://nvidia.github.io/TensorRT-LLM |
适合什么场景使用
直接看 README 的功能清单与快速开始，判断能否替换掉你正在手写的部分。
star 数与近期推送时间能说明项目是否活跃，挑最近半年仍有提交的模块读更划算。
先确认许可协议与 issue 的处理速度，再评估维护成本，不要只看 star 数量。
技术标签
- blackwell
- cuda
- llm-serving
- moe
- pytorch
同类项目
chinese-independent-developer👩🏿💻👨🏾💻👩🏼💻👨🏽💻👩🏻💻中国独立开发者项目列表 -- 分享大家都在做什么61,063
manim用于解释数学视频的动画引擎91,611
HelloGitHub:octocat: 分享 GitHub 上有趣、入门级的开源项目。Share interesting, entry-level open source projects on GitHub.167,599
copyparty便携式文件服务器，具有加速可恢复上传、重复数据删除、WebDAV、SFTP、FTP、TFTP、zeroconf、媒体索引器、缩略图++，全部集成在一个文件中46,236