Nathan Lambert谈公开评测周期
I don’t agree with these statements. many public evals shift the Overton window to interesting new things. Then they are goodhart’d and private ones take over.
AI 导读
针对“公开评测都不好,好的评测都是私有的”这一观点,Nathan Lambert 表示不同意。他认为许多公开评测会拓展讨论边界,随后因 Goodhart 定律失效并由私有评测接替,关键在于评测所处的周期阶段。
查看原帖如果评测是公开的,那它就不好。所有好的评测都是私有的。
查看原文
if the eval is public, it's bad. all good evals are private
正文 · AI 翻译
我不同意这些说法。许多公开评测会把奥弗顿之窗推向有趣的新事物。随后,它们会因古德哈特定律而失效,私有评测便会接替它们。重要的是你正处于这个周期的哪个阶段。
AI 热点