Rohan Paul 评 Judgment 从生产数据整理测试集
Making it easier to curate test datasets from production usage sounds pretty handy.
Judgment Labs 宣布向公众开放，称其是面向长周期智能体的监控与改进层，可从智能体轨迹中提取用户需求、失败场景等信息。Rohan Paul 评论说，能更方便地从生产使用中整理测试数据集相当实用，因为用户会提出各种事先没人想到要写下来的需求，把这些纳入测试会更好。
查看原帖今天，@JudgmentLabs 开放通用访问。 我们相信，长时间运行的智能体系统所产生的尾迹数据将超过世界目前能够处理的数量。 智能体轨迹中隐藏着关于如何改进这些系统的丰富记录：用户提出了什么需求、智能体在何时出错，以及智能体如何与外部世界交互。 Judgment 是面向长周期智能体的性能最强的监控与改进层。 我们很期待看到你构建的作品！
查看原文
Today, @JudgmentLabs opens for general access. We believe long running agent systems will generate more exhaust data than the world can currently process. Hidden within agent traces are rich records of how to make these systems better: what users ask for, when agents stumble, and how agents interact with the external world. Judgment is the most performant monitoring and improvement layer for long-horizon agents. We’re excited to see what you build!
正文 · AI 翻译
能更方便地从生产使用中整理测试数据集，听起来相当实用。
人们会提出各种各样事先没人想到要写下来的需求。能把更多这类需求纳入测试就好了