开源项目

promptfoo/promptfoo

测试您的提示、代理和 RAG。 AI 红队/渗透测试/漏洞扫描。比较 GPT、Claude、Gemini、DeepSeek 等的性能。具有命令行和 CI/CD 集成的简单声明性配置。由 OpenAI 和 Anthropic 使用。

TypeScriptMIT23,820 stars2,144 forks478 issues

项目简介

promptfoo/promptfoo 是一个用 TypeScript 编写的开源项目，在 GitHub 上归入「DevOps」这一类。目前累计 23,820 个 Star、2,144 次 Fork，许可协议为 MIT。

它的核心定位是：测试您的提示、代理和 RAG。 AI 红队/渗透测试/漏洞扫描。比较 GPT、Claude、Gemini、DeepSeek 等的性能。具有命令行和 CI/CD 集成的简单声明性配置。由 OpenAI 和 Anthropic 使用。官方仓库把它描述为这样的工具，我们在收录时按中文语境重新整理了这个说法，方便你快速判断它是否匹配手头的需求。

从仓库标签看，这个项目主要围绕 ci、ci-cd、cicd、evaluation、evaluation-framework 展开。如果你正在这几个方向上找现成的实现，它值得先浏览一遍 README 与示例目录。

仓库原文：Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI and Anthropic.

关键信息

23,820Star 数

2,144Fork 数

478未关闭 Issue

主要语言	TypeScript
开源许可	MIT
仓库创建	2023-04-28
最近推送	2026-08-01
收录时间	2026-08-02
仓库地址	https://github.com/promptfoo/promptfoo
克隆命令	`git clone https://github.com/promptfoo/promptfoo.git`
项目官网	https://promptfoo.dev

适合什么场景使用

想找现成方案

直接看 README 的功能清单与快速开始，判断能否替换掉你正在手写的部分。

想读源码学习

star 数与近期推送时间能说明项目是否活跃，挑最近半年仍有提交的模块读更划算。

想接入生产

先确认许可协议与 issue 的处理速度，再评估维护成本，不要只看 star 数量。

技术标签

ci
ci-cd
cicd
evaluation
evaluation-framework
llm
llm-eval
llm-evaluation

项目简介

关键信息

适合什么场景使用

技术标签

同类项目