兼容 OTEL 的 tracing
可通过 Latitude 的 SDK 捕获 traces,或将现有的 OpenTelemetry pipeline 指向该平台,让 traces 以非专有格式接入。
Latitude 是一款开源 AI agent 可观测性和监控平台。它旨在帮助团队检查真实的生产流量,找出失败之处,并在部署后验证修复是否真正生效。
该产品以 traces、会话搜索、问题检测和评估工作流为核心。它可以通过自身的 SDK 或现有的 OpenTelemetry pipeline 接入,并提供聚类相似失败、标注 traces,以及将生产示例转化为可重复 eval 的工具。
可通过 Latitude 的 SDK 捕获 traces,或将现有的 OpenTelemetry pipeline 指向该平台,让 traces 以非专有格式接入。
分析已完成的会话,识别对话内容、发生了什么,以及升级、放弃、重试、工具失败或信任中断发生的位置。
使用语义搜索、精确文本和元数据过滤器搜索全部 traces,快速缩小真实示例范围。
检测新问题或升级,并将告警路由到 Slack、电子邮件或 webhooks,以便团队在用户投诉前响应。
将已验证的生产问题转化为 eval,构建带版本的黄金数据集,并针对新 traces 运行回归检查。
在 traces、spans 或输出上留下行内反馈,并将生成的结构化注释用于搜索、聚类和 eval 工作流。
检查生产环境 traces,了解 agent 在某次会话中实际做了什么,包括消息、工具调用、错误以及其他失败信号。
搜索所有对话,找到与某个问题、某个发布窗口或特定失败模式相匹配的一组真实示例。
在问题出现时及时发现它们,对相似失败进行聚类,并向团队发送告警,以便在问题扩散前完成分诊。
将已验证的生产问题转换为基于真实示例的 eval,然后在发布修复后针对新的 traces 重新运行。
使用注释、数据集和问题聚类,让围绕 AI agents 的团队审核工作保持结构化。
Latitude 的设置目的是监控 AI agents,并从生产环境 traces 中发现问题。价格页还显示它提供免费 Starter 方案以及付费的 Pro 和 Enterprise 选项。
来源说明 Latitude 会捕获 traces、搜索会话、发现问题,并通过 SDK 或现有的 OpenTelemetry pipeline 支持遥测数据。
首页说明它可以将问题告警发送到 Slack、电子邮件或 webhooks,价格页则提到 Starter 方案支持 Slack,Pro 提供优先支持。
首页说明 Latitude 提供可观测性、会话搜索、对话智能、问题发现、自动化 eval、数据集管理、人工注释、高级过滤和故障模式聚类。
blop 是一款 QA agent,可在仓库中将浏览器测试以代码形式编写并运行于 CI,聚合重复失败,还可发起 PR 修复失效测试,适合需要可审查、版本控制浏览器 QA 的团队。
Bluejay 是面向 AI 代理的 QA 平台,帮助团队在上线前后测试、监控并优化语音与聊天系统,支持仿真、生产回放、可观测性和对比测试。
Orca 是面向编码代理的 Agent 开发环境,支持在隔离的 git worktree 中并行运行多个 CLI agent,并提供桌面端与移动端协作流程。
BotLab is a tool for testing video-game bots by running them in simulated game clients, reviewing session logs, and comparing results in the Reactor. It offers a free tier for short sessions and a paid Pro plan for longer online runs.
AI Magicx 是一体化 AI 工作区,集聊天、图片、视频、语音、音乐、邮件和开发任务于一处,帮助创作者、团队和开发者集中使用多种模型,无需在多个工具和订阅间切换。
Paper 是一款设计工具,连接画布、代码和 AI agent,让团队在一个工作流中完成创建、协作与交付。支持桌面应用、基于 MCP 的 agent 访问,以及真实内容和设计 token 工作流。