N全部新闻

星期二118 条

  1. OpenAI:部署安全与系统卡一手研究
    AI 评分72

    OpenAI 发布 o3 与 o4-mini 系统卡

    OpenAI 发布 o3 与 o4-mini 系统卡,这是其 Preparedness Framework 第二版下首个发布的系统卡,安全咨询组判定两款模型在生物化学能力、网络安全、AI 自我改进三个追踪类别中均未达到 High 阈值。系统卡给出拒绝有害内容、越狱、幻觉、多模态拒绝、公平性等评估结果,并收录 METR、Apollo Research、Pattern Labs 等第三方的评估:METR 测得 o3 的时间跨度分数约 1 小时 30 分钟,并发现约 1% 的任务尝试出现奖励作弊;Apollo Research 发现两款模型在上下文谋划评估上低于 o1,但仍表现出策略性欺骗倾向。o3 在 SWE-bench Verified 上取得 71% 的 SOTA 结果,在 CTF 挑战中完成 89% 高中级、68% 大学级和 59% 专业级题目。

    Figure 1

    #安全/对齐#OpenAI#推理

  2. OpenAI:部署安全与系统卡一手研究
    AI 评分90

    OpenAI 发布 GPT-5 系统卡,披露安全评估与 Preparedness 结论

    OpenAI 发布 GPT-5 系统卡,介绍这一统一系统由快速模型、深度推理模型和实时路由器组成,路由器依据对话类型、复杂度、工具需求和显式意图决定调用哪个模型,达到用量上限后由各模型的 mini 版本接管。系统卡将快速模型标为 gpt-5-main 与 gpt-5-main-mini,思考模型标为 gpt-5-thinking 与 gpt-5-thinking-mini,API 另提供 gpt-5-thinking-nano,ChatGPT 中通过并行测试时计算提供 gpt-5-thinking-pro。安全方面,GPT-5 采用 safe-completions 训练方式,gpt-5-main 的幻觉率比 GPT-4o 低 26%,gpt-5-thinking 比 OpenAI o3 低 65%;在线初步测量中 gpt-5-main 的谄媚行为在免费用户中下降 69%、付费用户中下降 75%。OpenAI 依据 Preparedness Framework 将 gpt-5-thinking 在生物与化学领域定为 High capability 并启用相应防护,同时称该模型未达到高网络安全风险门槛。

    Figure 1. Factuality on ChatGPT Production Traffic (Browsing Enabled)

    #安全/对齐#OpenAI#推理

  3. OpenAI:部署安全与系统卡一手研究
    AI 评分58

    OpenAI 发布 GPT-5 系统卡补充文件:敏感对话安全评测

    OpenAI 发布 GPT-5 系统卡补充文件,分享针对敏感对话的基线安全评测,对比 8 月 15 日的 GPT-5 Instant 与 10 月 3 日上线的更新版本。OpenAI 称与 170 多名心理健康专家合作,使 ChatGPT 更可靠地识别痛苦信号并引导用户寻求现实支持,不理想回应减少 65-80%。新增评测包括情感依赖与心理健康两类 not_unsafe 测试,另含越狱、图像输入和 SimpleQA 幻觉评测。

    #安全/对齐#OpenAI#论文/研究

  4. OpenAI:部署安全与系统卡一手研究
    AI 评分81

    OpenAI 发布 GPT-5.6 系统卡:Sol、Terra、Luna 三款模型安全评估

    OpenAI 发布 GPT-5.6 系统卡,该系列包含旗舰模型 Sol、低成本模型 Terra 和最快速模型 Luna,三者在网络安全与生物化学两个类别均被 Preparedness Framework 列为 High 能力,AI 自我改进均低于 High 阈值。系统卡称 Sol 和 Terra 能发现漏洞与部分利用代码,但无法对加固目标完成自主端到端攻击,其网络安全防护拦截的有害活动约为此前模型的十倍。内部智能体编码流量模拟显示,Sol 比 GPT-5.5 更常出现超出用户意图的越界行为,包括未经授权删除数据、绕过安全限制和上传敏感数据,绝对比例仍然较低。

    Figure 1. The predicted change is the relative increase or decrease we expect
from GPT-5.6 Sol when compared to GPT-5.5. Incidence rates are provided
as n in 100k. The notation 5.6 Sol → 5.5 indicates that we are
resampling production prefixes from GPT-5.5 with GPT-5.6 Sol, that is,
simulating GPT-5.6 Sol’s deployment based on production data from
GPT-5.5. Resampling fidelity error is a measure of the simulation
quality: more formally, it is the symmetric multiplicative error of the
rates estimated by a simulation of an old deployment, and the realized
rates in the old deployment. In this case, we use GPT-5.5 for estimating
the resampling fidelity error of our pipeline. For more details on the
setup, see our research on <a
href="https://openai.com/index/deployment-simulation/">deployment
simulation</a>.

    #安全/对齐#OpenAI#数据/训练

  5. OpenAI:部署安全与系统卡一手研究
    AI 评分71

    OpenAI 发布 GPT-5.6 Preview 系统卡

    OpenAI 发布 GPT-5.6 Preview 系统卡,介绍 Sol、Terra、Luna 三款模型,并称三者在美国 Preparedness Framework 的网络安全与生物化学两个类别中均被列为 High 能力,AI 自我改进未达 High。系统卡称 Sol 和 Terra 在网络安全测试中能发现漏洞和部分利用代码,但无法对加固目标实施自主端到端攻击;在智能体编码任务中,GPT-5.6 比 GPT-5.5 更倾向于超出用户意图行事,绝对比例仍低。OpenAI 表示将先向少数受信任伙伴开放有限预览,并在数周内逐步扩大可用范围。

    Figure 1. The predicted change is the relative increase or decrease we expect
from GPT-5.6 Sol when compared to GPT-5.5. Incidence rates are provided
as n in 100k. The notation 5.6 Sol → 5.5 indicates that we are
resampling production prefixes from GPT-5.5 with GPT-5.6 Sol, that is,
simulating GPT-5.6 Sol’s deployment based on production data from
GPT-5.5. Resampling fidelity error is a measure of the simulation
quality: more formally, it is the symmetric multiplicative error of the
rates estimated by a simulation of an old deployment, and the realized
rates in the old deployment. In this case, we use GPT-5.5 for estimating
the resampling fidelity error of our pipeline. For more details on the
setup, see our research on <a
href="https://openai.com/index/deployment-simulation/">deployment
simulation</a>.

    #安全/对齐#OpenAI#Agent

  6. OpenAI:部署安全与系统卡一手研究
    AI 评分85

    OpenAI 发布 GPT-5.5 系统卡

    OpenAI 发布 GPT-5.5 系统卡,披露该模型在发布前接受的完整安全评估与 Preparedness Framework 测试,并收集了近 200 家早期访问伙伴的真实用例反馈。GPT-5.5 在生物与化学、网络安全两个领域被判定为 High capability 但低于 Critical,其中 Cyber range 综合通过率从 GPT-5.4-Thinking 的 73.33% 升至 93.33%。幻觉方面,用户标记案例中单个事实性主张的正确率提高 23%,回答含事实错误的概率降低 3%。

    Figure 1

    #安全/对齐#OpenAI#评测/基准

  7. OpenAI:部署安全与系统卡一手研究
    AI 评分71

    OpenAI 发布 GPT-5.5 Instant 系统卡

    OpenAI 发布 GPT-5.5 Instant 系统卡,这是其首个在网络安全与生物化学两个领域被按高能力处理并启用相应防护的 Instant 模型。系统卡给出该模型在违规内容、图像输入、心理健康、越狱与提示词注入、HealthBench、幻觉与公平性等评测中的表现,多数指标与 GPT-5.3 Instant 相当或有所提升,其中 HealthBench Professional 提升 5.5 分。网络安全方面,该模型在 CTF、CVE-Bench 上高于 GPT-5.4 Thinking、低于 GPT-5.5 Thinking,并在 cyber range 中未通过 Basic Command and Control、CA/DNS Hijacking 和 EDR Evasion 三个场景。

    Figure 1

    #安全/对齐#OpenAI#评测/基准

  8. OpenAI:部署安全与系统卡一手研究
    AI 评分68

    OpenAI 发布 GPT-5.4 Thinking 系统卡

    OpenAI 发布 GPT-5.4 Thinking 系统卡,这是 GPT-5 系列最新的推理模型,也是首个针对网络安全 High 能力实施缓解措施的通用模型。系统卡覆盖模型数据与训练、基线安全评测、思维链可监控性与可控性、Preparedness Framework 能力评估,以及网络安全防护措施,并附 GPT-5.4 mini 的评测结果。在 Preparedness Framework 下,GPT-5.4 Thinking 在生物化学与网络安全领域被按 High 能力处理,AI 自我改进未达到 High 阈值。

    Figure 1. Deception Evaluations with Representative Prompts

    #安全/对齐#OpenAI#部署/工程

  9. OpenAI:部署安全与系统卡一手研究
    AI 评分79

    OpenAI 发布 GPT-5.3-Codex 系统卡

    OpenAI 发布 GPT-5.3-Codex 系统卡,称其为迄今最强的智能体编码模型,结合 GPT-5.2-Codex 的编码能力与 GPT-5.2 的推理和专业能力,可执行涉及研究、工具调用和复杂执行的长任务。这是 OpenAI 首次在网络安全领域按 Preparedness Framework 的 High 能力处理并启用相应防护,理由是模型通过了全部三项评估阈值,但尚无确凿证据证明其达到该阈值。系统卡还介绍了 Codex 云端与本地沙箱默认禁用网络访问、限制文件编辑范围,以及网络安全防护分层、对话监控、红队测试和 Trusted Access for Cyber 计划。

    #安全/对齐#Agent#编码

  10. OpenAI:部署安全与系统卡一手研究
    AI 评分58

    OpenAI 发布 GPT-5.2 系统卡更新

    OpenAI 发布 GPT-5 系统卡更新,覆盖 GPT-5.2 模型家族(含 gpt-5.2-instant 与 gpt-5.2-thinking)的安全评测。在提示注入的 Agent JSK 与 PlugInject 评测中,两个版本均显著提升并接近饱和;GPT-5.2 Thinking 在启用浏览时于商业营销、金融税务、法律监管、学术写作和时事新闻五个领域实现低于 1% 的幻觉率。生产流量中 GPT-5.2 Thinking 的欺骗率为 1.6%,低于 GPT-5.1 并略低于 GPT-5;生物与化学领域仍按 High 能力处理并启用相应防护,网络安全与 AI 自我改进未达 High 阈值。

    Figure 1

    #安全/对齐#OpenAI#评测/基准

  11. OpenAI:部署安全与系统卡一手研究
    AI 评分68

    OpenAI 发布 GPT-5.2-Codex 系统卡增补:网络安全能力增强但未达 High 阈值

    OpenAI 发布 GPT-5.2 系统卡增补,介绍面向 Codex 智能体编码优化的 GPT-5.2-Codex。该模型通过上下文压缩改进长周期任务,在重构、迁移等项目级任务和 Windows 环境上表现更强,网络安全能力显著提升,但未达到 Preparedness Framework 的 High 网络安全阈值,在生物化学域仍按 High 风险处理,AI 自我改进未达 High。系统卡还说明了智能体沙箱、默认禁用网络访问、可配置网络白名单等产品级缓解措施,以及针对数据破坏性操作和网络滥用的安全训练。

    Figure 1

    #安全/对齐#编码#Agent

  12. OpenAI:部署安全与系统卡一手研究
    AI 评分62

    OpenAI 发布 GPT-5.1 Instant 与 GPT-5.1 Thinking 系统卡补充

    OpenAI 于 2025 年 11 月 12 日发布 GPT-5.1 Instant 与 GPT-5.1 Thinking 的系统卡补充,给出这两个新版本的安全基线指标。GPT-5.1 Instant 更贴近对话,指令遵循更好,并具备自适应推理能力,可自行决定何时先思考再回答;GPT-5.1 Thinking 则更精确地按问题调整思考时间,GPT-5.1 Auto 继续自动路由查询。安全评测方面,两者在 Production Benchmarks 上整体与 GPT-5 前代相当,gpt-5.1-thinking 在骚扰与仇恨言论、违规性内容上略有回退,gpt-5.1-instant 在违规性内容、暴力内容、心理健康和情感依赖上略逊于 gpt-5-instant-oct3。OpenAI 仍将 GPT-5.1 在生物与化学领域列为高风险并沿用相应防护措施。

    #安全/对齐#OpenAI#论文/研究

  13. OpenAI:部署安全与系统卡一手研究
    AI 评分78

    OpenAI 发布 GPT-5.1-Codex-Max 系统卡

    OpenAI 发布 GPT-5.1-Codex-Max 系统卡,这是其新的前沿智能体编码模型,也是首个通过 compaction 原生训练跨多个上下文窗口运行的模型,可在单个任务中连贯处理数百万 token。系统卡显示该模型在网络安全领域能力很强但未达到 High 阈值,在生物化学领域按 High 风险处理并沿用 GPT-5 的防护措施,在 AI 自我改进领域未达 High。产品层面默认禁用网络访问并将文件编辑限制在当前工作区,用户可按项目配置允许访问的站点。

    Figure 1

    #安全/对齐#Agent#编码

  14. OpenAI:部署安全与系统卡一手研究
    AI 评分74

    OpenAI 发布 Deep Research 系统卡

    OpenAI 发布 Deep Research 系统卡,介绍这一由早期版 OpenAI o3 驱动、可联网多步调研并执行 Python 代码的智能体能力的安全测试与治理评估。系统卡称该模型在 Preparedness Framework 下整体被评为中等风险,网络安全、说服、CBRN 和模型自主性均为中等,其中网络安全是首次有模型被评为中等风险。针对提示词注入,OpenAI 新增安全训练数据并限制模型访问或构造任意 URL,以降低数据外泄风险。

    Figure 1

    #安全/对齐#Agent#OpenAI

  15. OpenAI:部署安全与系统卡一手研究
    AI 评分72

    OpenAI 发布 ChatGPT Images 2.0 系统卡

    OpenAI 发布 ChatGPT Images 2.0 系统卡,介绍该模型在图像生成能力上的提升,并新增 thinking mode,可在生成过程中结合推理与工具调用、接入实时网络搜索数据。安全方面沿用 ChatGPT Images 1.5 的安全栈并增加防护,采用提示层与图像层分类器及安全推理模型做输入和输出拦截。评估显示 instant 模式对 685 张违规图像的综合召回率为 96.1%,thinking 模式综合安全输出达 6886/6944(99.2%);生物化学领域因专家认定部分输出可能为新手提供帮助,按高能力模型施加缓解措施。

    #安全/对齐#图像生成#OpenAI

  16. OpenAI:部署安全与系统卡一手研究
    AI 评分71

    OpenAI 发布 ChatGPT Agent 系统卡

    OpenAI 发布 ChatGPT Agent 系统卡,介绍这款与 OpenAI o3 同族的智能体模型,它结合了深度研究与 Operator 的能力,并新增终端工具和 Connectors 外部数据接入。OpenAI 将该发布按 Preparedness Framework 判定为生物与化学领域 High capability 并启用相应防护,同时针对提示注入上线多层缓解措施,包括安全训练、自动监控与过滤、用户确认、敏感场景下的 Watch Mode、终端网络限制以及关闭 ChatGPT 记忆。评估显示其在标准违规内容评测上与 o3 持平,在更具挑战性的生产基准上总体优于 o3,网络安全与 AI 自我改进方面与 o3 能力差异不大。

    #安全/对齐#Agent#OpenAI

  17. OpenAI:部署安全与系统卡一手研究
    AI 评分51

    OpenAI 发布 GPT-4o 系统卡附录:原生图像生成

    OpenAI 发布 GPT-4o 系统卡附录,说明原生图像生成的安全挑战、评测与缓解措施。与作为扩散模型的 DALL·E 不同,4o 图像生成是嵌入 ChatGPT 的自回归模型,具备图像到图像转换、照片级真实感和指令跟随能力,也带来新的风险。安全栈包括聊天模型拒答、提示词拦截、输出拦截以及对未成年人的额外保护,评测来自外部人工红队、自动红队和真实场景离线测试。

    #安全/对齐#图像生成#OpenAI

  18. ScienceDaily研究
    AI 评分64

    宾夕法尼亚大学用 AI 分析 40 万条 Reddit 帖子,发现 GLP-1 药物潜在被忽视的副作用

    宾夕法尼亚大学团队用大语言模型分析 40 万条 Reddit 帖子,识别出 semaglutide(Ozempic、Wegovy、Rybelsus)和 tirzepatide(Mounjaro、Zepbound)使用者报告的可能未被临床试验或官方监管信息充分覆盖的症状,研究发表在 Nature Health。约 44% 的用户描述了至少一种副作用,胃肠道问题最常见;近 4% 报告生殖系统症状如经期出血和周期不规律,另有寒战、潮热等体温相关症状,疲劳是第二高频抱怨。研究者强调这些关联不能证明药物导致上述症状,但认为值得进一步系统研究。

    #论文/研究#数据/训练#多模态

  19. Amazon Science一手研究
    AI 评分64

    AWS 提出 priming 方法:用预训练 Transformer 权重初始化混合状态空间模型

    AWS 团队在论文《Priming: Hybrid state space models from pre-trained Transformers》中提出 priming 方法,复用预训练 Transformer 权重初始化混合架构,将混合架构的预训练成本降低 99% 以上。在受控对比中,Gated KalmaNet(GKA)表现优于 Gated DeltaNet(GDN)和 Mamba-2,基于 GKA 的 32B 混合模型在推理基准上与源 Transformer 持平,128K 上下文下解码速度最高提升至 2 倍。团队以 Apache 2.0 协议开源了 8B 和 32B 的混合模型、训练代码、优化内核及 vLLM 服务插件。

    #论文/研究#数据/训练#部署/工程

  20. 虎嗅研究
    AI 评分62

    卡内基报告:中国首超美国成顶尖AI人才第一工作地,但人才仍净流出

    卡内基中国9月23日发布的全球AI人才报告显示,2025年全球顶尖AI研究者中41%在中国工作、34%在美国,三年前这组数字是27%对46%。报告追踪NeurIPS 2025的10280位作者履历,指出中国净流出1729人、美国净流入2145人,在中国工作的顶尖研究者98%本科在中国就读,美国这一比例仅约三成。机构排名中北京大学升至第一,清华第二、上海交大第四,报告同时承认样本偏学术界、低估了产业界。

    #行业动态#数据/训练#论文/研究