Import AI 457：AI stuxnet、被诅咒的 Muon 优化器与正向对齐
Import AI 457: AI stuxnet; cursed Muon optimizer; and positive alignment
AI 导读
Import AI 457 期讨论了 AI stuxnet、被诅咒的 Muon 优化器以及正向对齐（positive alignment）三个话题。文中指出，模型可以在满足所有安全约束的同时表现平庸、谄媚或无用，而用户可能偏好奉承而非诚实反馈，因此优化偏好满足可能与用户更深层利益相悖。正向对齐主张明确承认其价值判断属性，并认为正向导向可能比穷举式负面禁止更具泛化能力。
正文 · AI 翻译
没有上限的底线：“一个模型可以在满足所有安全约束的同时，表现得平庸、谄媚或毫无助益”
偏好与福祉的背离：“用户可能更偏好奉承而非诚实反馈，偏好快速答案而非真正的理解，偏好互动参与而非成长……因此，优化偏好满足可能反而会主动损害用户更深层的利益”。
隐藏的价值体系：“安全这一话语掩盖了价值判断正在被作出这一事实……相比之下，正向对齐则明确承认其负载价值的本质”。
可扩展性：“正向导向可能比穷举式的负面禁止具有更好的泛化能力，在没有具体禁令适用或可被执行的陌生情境中，提供更具韧性的正向导向。”
感谢阅读！