生产环境 trace 可观测性
查看每次 AI 调用的 prompts、responses、tool calls、latency、cost 和请求元数据。界面专为检查生产行为和从真实 traces 中发现问题而设计。
概述
Braintrust 是一款面向希望追踪生产行为、评估模型质量并在问题到达用户之前发现回归的团队的 AI 可观测平台。该网站将其定位为一个用于理解生产环境中实际发生情况的系统，而不仅仅依赖离线测试。
该产品结合了 trace 检查、evals、自动化和工作流工具。团队可以为应用添加埋点，检查 prompts 和 tool calls，对比 models 和 prompts，从真实故障中构建数据集，并使用 Topics 等生产信号随着时间推移指导改进。
功能
评测与评分
针对数据集运行实验，并使用 LLM、代码或人工对输出进行评分。产品将 evals 定位为在发布前定义质量并并排比较 prompts 或 models 的方式。
借助 Topics 发现模式
使用 Topics 从真实流量中发现重复出现的模式，然后将这些模式转化为 evaluations 或 alerts。定价页和首页文案都将 Topics 描述为一种在生产日志中对特定领域问题进行分类和发现的方式。
数据集与审核工作流
将生产 traces 转换为用于回归测试的数据集，并创建人工审核工作流，而无需构建自定义前端代码。网站还重点介绍了数据集、playgrounds 和自定义标注界面。
CLI、SDK 与 MCP 访问
使用 CLI、SDK 和 MCP server 来为应用添加埋点、查询日志、运行 evals，并从开发工具更新 prompts。文档强调了面向 coding-agent 工作流的可重复设置和脚本化操作。
团队与治理控制
随着团队规模增长，可自定义 trace 视图、图表、环境和访问控制。定价页在更高层级中列出了已保存的表格视图、自定义列、自定义图表、环境、RBAC、SSO、MFA 和数据保留控制。
使用场景
追踪生产环境中的 AI 行为
为 AI 应用添加埋点，使每次调用都会将 traces 写入 Braintrust，然后在 Logs 视图中查看 prompts、outputs、tool calls、token 数、延迟和成本。
衡量 prompt 和模型质量
基于真实数据集构建 evals，并在发布变更前并排比较 prompts 和 models，使用 LLM、代码或人工审核者对输出进行评分。
从实时流量中发现回归
使用 Topics 从生产日志中发现重复出现的模式，然后在出现新的回归时将这些模式转化为 evals、质量门禁或 alerts。
基于真实故障构建回归测试
基于实际 traces 创建数据集和自定义审核流程，使团队能够针对边缘案例进行测试，并在与任务匹配的工作流中审核输出。
通过开发工具操作 Braintrust
使用 CLI、SDK 或 MCP server 从工程工具和 agent 工作流中查询日志、运行 evals 并管理 prompts。
Pros and Cons
Pros
- 覆盖从 tracing 和 evaluation 到回归检测和生产监控的完整闭环。
- 支持检查详细的 trace 数据，包括 prompts、outputs、metadata、latency 和 cost。
- 提供多种与平台交互的方式，包括 CLI、SDK、MCP 和 UI 工作流。
- 在更高层级提供面向团队的控制能力，例如自定义视图、图表、环境和访问管理。
- 提供免费的 Starter 计划以及付费和企业选项。
Cons
- 文档索引中列出了一些集成和功能领域，但公开页面并未完整罗列所有受支持的工具或提供商。
- 若干高级能力和部署细节在文档中的说明比主营销页面更清晰，因此读者可能需要查阅文档以了解实现细节。
FAQ
如何开始使用 Braintrust？
Braintrust 的设置方式是先安装 CLI，接着为应用添加埋点，然后在 Braintrust 界面中查看 traces。快速开始会展示一个安装 `bt` 并指导完成埋点的脚本，文档也说明可以通过 `bt` CLI 进行可重复的工作，例如运行 evals、查询日志和同步数据。
Traces 会显示什么？
追踪快速开始说明，一旦应用完成埋点，每次 AI 调用都会记录 traces。在界面中，你可以查看完整的输入提示词和模型输出、token 数、延迟、成本、模型配置以及请求/响应元数据。
Braintrust 支持什么工作流？
文档将 Braintrust 描述为一个用于捕获 traces、分析日志、添加人工反馈、构建数据集、通过实验测试更改，并在监控生产环境的同时发布的 platform。工作流围绕捕获 traces、发现模式、添加反馈、测试更改以及随后监控生产环境展开。
支持哪些语言和集成？
文档和定价页表明，它通过原生 SDK 支持 Python、TypeScript、Go、Ruby、C# 等语言，并与 AI 提供商、框架和开发者工具集成。集成页面还指出，它可通过 MCP 和 CLI 以不依赖框架的方式使用，并支持开发者工具工作流。
Braintrust 有免费计划吗？
Braintrust 提供免费的 Starter 计划、付费的 Pro 计划以及定制的 Enterprise 定价。定价页还显示，基于使用量的费用与已处理的数据和分数相关，同时高阶套餐包含自定义图表、RBAC 以及更长的数据保留期等功能。
Quick Facts
- 类别
- AI 可观测平台
- 主要用途
- 面向 AI 产品的 tracing、evals 与回归检测
- 访问方式
- Web 应用、CLI、SDK 和 MCP server
- 支持的 SDK 语言
- Python、TypeScript、Go、Ruby、C# 等
- 定价模式
- 免费 Starter 计划、付费 Pro 计划和定制 Enterprise 定价
- 网站
- braintrust.dev
Braintrust 替代品
blop
blop 是一款 QA agent，可在仓库中将浏览器测试以代码形式编写并运行于 CI，聚合重复失败，还可发起 PR 修复失效测试，适合需要可审查、版本控制浏览器 QA 的团队。
Orca
Orca 是面向编码代理的 Agent 开发环境，支持在隔离的 git worktree 中并行运行多个 CLI agent，并提供桌面端与移动端协作流程。
BotLab
BotLab is a tool for testing video-game bots by running them in simulated game clients, reviewing session logs, and comparing results in the Reactor. It offers a free tier for short sessions and a paid Pro plan for longer online runs.
Firebase Studio
Firebase Studio 是一款基于浏览器的全栈应用开发工作区，支持 Gemini 辅助编写代码、应用预览、云模拟器、导入仓库、原型开发、协作与从浏览器部署。
EZsite AI
EZsite AI 是一款 AI 网站构建器，可将 URL 转为完整的 React 或 Vue.js 应用。支持托管、自定义域名、代码导出及面向团队的后端功能，帮助快速交付可部署结果。
AI Magicx
AI Magicx 是一体化 AI 工作区，集聊天、图片、视频、语音、音乐、邮件和开发任务于一处，帮助创作者、团队和开发者集中使用多种模型，无需在多个工具和订阅间切换。