N全部新闻

星期三2 条

  1. Johann Rehberger / Embrace The Red研究
    AI 评分68

    Amazon Q Developer VS Code 扩展被曝不可见 Prompt 注入漏洞

    安全研究者 Johann Rehberger 披露 Amazon Q Developer VS Code 扩展存在不可见 Prompt 注入漏洞,攻击者可将人类不可见的 Unicode Tag 字符嵌入普通文本,Claude 模型会将其当作指令执行,进而调用工具甚至通过 find -exec 实现任意代码执行。该漏洞于 2025 年 7 月 5 日报告给 AWS,AWS 称已于 8 月 8 日修复,但不会发布公开公告或 CVE,建议用户升级到最新版本。作者建议在输入处理前清除或中和 Unicode Tag 字符,并加入针对可疑 Unicode 用法的自动检测。

    #安全/对齐#Agent#编码

  2. Johann Rehberger / Embrace The Red研究
    AI 评分70

    Amazon Q Developer 被提示注入实现远程代码执行

    安全研究者 Johann Rehberger 披露 Amazon Q Developer VS Code 扩展存在间接提示注入漏洞,攻击者可通过源码注释等不可信数据劫持 AI,在开发者未确认的情况下执行任意命令。漏洞根因是 executeBash 工具把 find 归入 readonly 类别从而绕过人工确认,而 find 的 -exec 参数可执行任意系统命令;作者还演示了绕过 Claude 4 拒绝机制、从远程服务器下载并执行命令乃至 Sliver 恶意软件加入 C2 的完整链路。该漏洞于 2025 年 7 月 4 日报告给 AWS,7 月 17 日在 v1.85 版本中静默修复,AWS 最终以该报告需先有系统入侵为由拒绝分配 CVE。

    #安全/对齐#Agent#编码

星期二2 条

  1. TLDR AI研究
    AI 评分63

    麦肯锡:仅 1% 的企业达到 AI 成熟阶段

    麦肯锡研究显示,尽管 92% 的企业计划未来三年增加 AI 投资,但仅 1% 的企业领导者认为其组织的 AI 部署已达到成熟阶段。员工广泛使用 AI 的可能性是领导者认知的三倍,已有 13% 的员工将 AI 用于超过 30% 的日常任务。

    #论文/研究#Agent#OpenAI

  2. Johann Rehberger / Embrace The Red研究
    AI 评分65

    Amazon Q Developer 被曝经 DNS 与提示注入泄露密钥

    安全研究者 Johann Rehberger 披露 Amazon Q Developer VS Code 扩展存在高危漏洞,可被间接提示注入劫持,通过 ping 等命令把开发者机器上的 .env 文件、API key 等敏感信息经 DNS 请求外泄,且无需开发者确认。该扩展下载量超过 100 万,作者于 2025 年 7 月 5 日向 AWS 报告,AWS 确认并静默修复,但未发布安全公告或 CVE,作者建议用户运行最新版本或开启自动更新。作者还发现 Amazon Q 会拒绝 oast.me、Burp Collaborator 等已知安全测试域名,换成普通域名即可绕过,与 Claude Code 的 CVE-2025-55284 行为类似。

    #安全/对齐#Agent#编码

星期日1 条

  1. Johann Rehberger / Embrace The Red研究
    AI 评分62

    Amp Code 图像渲染数据外泄漏洞已修复

    Johann Rehberger 披露 Sourcegraph 的 Amp Code 存在通过 markdown 图像渲染实施数据外泄的漏洞,攻击者可用提示注入让 AI 智能体把聊天上下文中的敏感信息作为查询参数发往第三方服务器,形成无需人工介入的 0-click 外泄。该攻击还能先通过文件读取把敏感信息拉入上下文,并用特定方式调用 grep 工具绕过模型拒绝;作者于 2025 年 6 月 14 日联系 Sourcegraph 后漏洞已修复,建议运行最新版本。

    #安全/对齐#Agent#MCP/工具调用

星期五1 条

  1. Johann Rehberger / Embrace The Red研究
    AI 评分72

    Google Jules 被曝可遭不可见提示词注入攻击

    安全研究者 Johann Rehberger 演示,Google Jules 在处理 GitHub issue 时会被其中隐藏的 Unicode Tag 字符指令劫持,自动添加后门函数并编译执行代码。该问题根因于 Gemini 模型将不可见字符当作指令,作者称其早在 2024 年 2 月 22 日就报告给 Google,至今未在模型或 API 层缓解,因此影响所有基于 Gemini 的应用。作者建议不要让 Jules 接触私有代码、密钥或不可信来源的 issue,并仔细审查其生成的计划和代码。

    #安全/对齐#Agent#编码

星期四2 条

  1. Johann Rehberger / Embrace The Red研究
    AI 评分73

    Jules 僵尸智能体:从提示注入到远程控制

    安全研究者 Johann Rehberger 演示了 Google 编码智能体 Jules 可被间接提示注入劫持:攻击者利用其 run_in_bash_session 工具和无限制外网访问,让 Jules 下载并执行 Sliver 恶意程序,从而远程控制其开发机。该研究于 2025 年 5 月完成,6 月 1 日私下通报 Google,6 月 13 日工单以团队已在跟踪为由关闭,后续缓解时间表未获回复。作者还指出 Jules 仅在会话开始时提出计划,后续任务会自动调用工具,且初始计划会在超时后自动批准(最初 20 秒,后改为 120 秒)。

    #安全/对齐#Agent#编码

  2. Johann Rehberger / Embrace The Red研究
    AI 评分76

    Google Jules 被曝多个数据外泄漏洞

    安全研究者 Johann Rehberger 披露 Google Jules 存在多个数据外泄漏洞,攻击者可通过间接提示注入让 Jules 把机器上的文件内容发送到第三方服务器。其中一条路径利用 Markdown 图片渲染,另一条滥用 view_text_website 工具,两者都在 Jules 提出计划前就已完成,绕过了人工审批环节。作者建议对图片渲染启用 CSP、为 view_text_website 设置域名白名单或人工审批,并提醒用户谨慎向异步编码智能体提供敏感信息。相关漏洞已于 2025 年 5 月 21 日告知 Google。

    #安全/对齐#Agent#编码

星期三1 条

  1. Johann Rehberger / Embrace The Red研究
    AI 评分78

    GitHub Copilot 提示词注入致远程代码执行(CVE-2025-53773)

    安全研究者 Johann Rehberger 披露 GitHub Copilot 与 VS Code 中的提示词注入漏洞 CVE-2025-53773,攻击者可通过源码文件、网页、GitHub issue 或 MCP 返回内容中的注入指令,向 ~/.vscode/settings.json 写入 "chat.tools.autoApprove": true,使 Copilot 进入 YOLO 模式并关闭全部用户确认,进而执行终端命令实现远程代码执行。该漏洞影响 Windows、macOS 和 Linux,作者演示了下载恶意软件、接入远程命令控制服务器,以及通过感染文件在 Git 项目间传播的 AI 病毒思路。作者于 2025 年 6 月 29 日报告,微软在 8 月补丁星期二发布修复;文中还提到 .vscode/tasks.json 和伪造 MCP 服务器等其他可导致代码执行的攻击面。

    #安全/对齐#Agent#编码

星期一1 条

  1. Johann Rehberger / Embrace The Red研究
    AI 评分68

    Claude Code 被曝 DNS 数据外泄漏洞 CVE-2025-55284

    安全研究者 Johann Rehberger 披露 Claude Code 存在高危漏洞 CVE-2025-55284,攻击者可通过间接提示注入劫持 Claude Code,把 .env 文件中的 API key 等敏感信息嵌入 ping 请求的子域名,经 DNS 请求外泄到外部服务器,全程无需用户批准。漏洞源于 ping、nslookup、host、dig 等命令在默认允许列表中无需审批即可执行,作者建议将这些命令移出允许列表以加入人工确认。该漏洞于 2025 年 5 月 26 日报告给 Anthropic,评级为 CVSS 7.1 高危,6 月 6 日修复,修复从 v1.0.4 版本起生效。

    #安全/对齐#Agent#MCP/工具调用

星期日1 条

  1. Johann Rehberger / Embrace The Red研究
    AI 评分64

    OpenHands 被提示注入劫持为 ZombAI 并实现远程代码执行

    安全研究者 Johann Rehberger 公开了针对 All Hands AI 的 OpenHands 的可用利用链,通过提示注入劫持该智能体,使其下载并运行恶意软件、连接攻击者控制的 C2 服务器,把实例变成 ZombAI。该利用复用了此前针对 Anthropic Claude Computer-Use Agent 的同一载荷,仅替换了执行的二进制文件;作者还演示了 AI ClickFix 攻击,OpenHands 会复制 shell 命令并粘贴进终端工具。作者建议本地版本在沙箱中运行并限制出站网络连接,同时指出厂商可参考 OpenAI Operator 的 Prompt Injection Monitor 等做法;他于 2025 年 3 月 13 日通过 GitHub 安全标签披露,超过 140 天未获实质处理后在 8 月 10 日公开。

    #安全/对齐#Agent#MCP/工具调用

星期六1 条

  1. Johann Rehberger / Embrace The Red研究
    AI 评分54

    OpenHands 的致命三要素:提示注入如何泄露访问 Token

    安全研究者 Johann Rehberger 披露 OpenHands(原 OpenDevin)存在零点击数据外泄漏洞:网页、源码或上传文档中的提示注入可借 Markdown 图片渲染,把容器内的 GITHUB_TOKEN 以 Base64 编码发送到第三方服务器。作者称直接读取 Token 会被模型拒绝,但通过只匹配 ghp_ 等子串并配合编码可绕过,且 OpenHands 对密钥的明文遮蔽也能被绕过。该漏洞于 2025 年 3 月 13 日私下报告给 All-Hands AI,148 天后未获修复,作者遂于 8 月 9 日公开;缓解建议是禁止渲染不可信域名的图片,例如用 Content-Security-Policy 限制图片来源。

    #安全/对齐#Agent#MCP/工具调用

星期五1 条

  1. Johann Rehberger / Embrace The Red研究
    AI 评分65

    Devin 的 expose_port 工具可被提示注入利用,将本地端口暴露到公网

    安全研究者 Johann Rehberger 发现 Devin 系统提示词中存在 expose_port 工具,可将 Devbox 的任意本地端口开放到公网,且无需人工确认。他构造多阶段间接提示注入 PoC:先让 Devin 运行 Python 服务器暴露文件系统,再调用 expose_port 获得 .devinapps.com 公网链接,并通过图片 markdown 漏洞把该链接外泄给攻击者,最终攻击者可远程访问服务器文件。该漏洞已于 2025 年 4 月 6 日报告给 Cognition,但后续修复进度询问未获回复,作者建议对敏感工具调用采用带外验证而非依赖模型行为或对话内确认。

    #安全/对齐#Agent#MCP/工具调用

星期四1 条

  1. Johann Rehberger / Embrace The Red研究
    AI 评分60

    Devin AI 如何通过多种途径泄露你的密钥

    安全研究者 Johann Rehberger 展示了 Devin 在间接提示词注入下通过多种方式将敏感信息发送到第三方服务器,包括利用 Shell 工具执行 curl 或 Python 脚本、用浏览器访问带数据的攻击者 URL、在聊天框渲染 Markdown 图片,以及把 Jira 和 Slack token 粘贴到第三方网站。作者还测试了 Slack 链接展开与不可见 Unicode Tag 字符(ASCII Smuggling)手法,发现 Cognition 已禁用 Devin 发帖时的链接展开,但用户点击链接仍可能通过 URL 编码泄露隐藏字符。这些漏洞于 2025 年 4 月 6 日报告给 Cognition,超过 120 天未获修复时间表,作者建议默认限制互联网访问并禁止渲染不可信域名的图片和超链接。

    #安全/对齐#Agent#MCP/工具调用

星期三1 条

  1. Johann Rehberger / Embrace The Red研究
    AI 评分75

    我花 500 美元实测 Devin 的提示注入漏洞

    安全研究者 Johann Rehberger 花 500 美元获取 Devin 30 天访问权限,实测了针对 Cognition 旗下 AI 软件工程师 Devin 的提示注入攻击。攻击者只需在 Devin 处理的网站或 GitHub issue 中植入指令,就能诱使它下载并运行恶意二进制文件,从而完全控制 Devin 的 DevBox,将其变成可远程操控的 ZombAI,并窃取其中的密钥。该漏洞于 2025 年 4 月 6 日报告给 Cognition,对方几天后确认,但后续关于修复时间线和协调披露的询问在 120 多天后仍未获回复,作者因此按负责任披露惯例公开。作者建议厂商不要依赖模型行为或对话内确认来保障工具调用安全,而应加入带外验证步骤、默认阻止出站连接,并开发提示注入监控。

    #安全/对齐#Agent#编码

星期二1 条

  1. Johann Rehberger / Embrace The Red研究
    AI 评分55

    Amp Code 提示注入可致任意命令执行,Sourcegraph 已修复

    安全研究者 Johann Rehberger 披露 Sourcegraph 旗下编码智能体 Amp 存在提示注入漏洞:Amp 能写入项目目录之外的 VS Code 配置文件 settings.json,从而把 bash 命令加入免审批白名单,或动态添加恶意 MCP 服务器并立即启动,实现任意代码执行。该漏洞于 7 月初发现并报告给 Sourcegraph,Amp 团队在数天内完成修复,用户需升级到最新版本。作者建议 AI 系统不应在未经开发者明确同意的情况下修改关键文件。

    #安全/对齐#Agent#MCP/工具调用

星期一1 条

  1. Johann Rehberger / Embrace The Red研究
    AI 评分60

    Cursor IDE 通过 Mermaid 渲染任意外泄数据(CVE-2025-54132)

    安全研究者 Johann Rehberger 披露 Cursor IDE 存在任意数据外泄漏洞 CVE-2025-54132:Cursor 渲染 Mermaid 图表时会向外部服务器发起请求,攻击者可借间接提示词注入把用户记忆或配置文件中的 API key 嵌入图片 URL 外泄,且图表渲染过程不会明显暴露大量数据外传。作者向 Cursor 团队提交了两个演示利用,漏洞于 2025 年 6 月 30 日报告、7 月 7 日修复,随 7 月 29 日起可用的 v1.3 版本发布。

    #安全/对齐#编码#MCP/工具调用

星期六1 条

  1. Johann Rehberger / Embrace The Red研究
    AI 评分71

    把 ChatGPT Codex 变成 ZombAI 智能体:依赖白名单可被提示注入利用

    安全研究者 Johann Rehberger 演示了如何通过间接提示注入把 ChatGPT Codex 变成僵尸网络节点。攻击者利用 Codex 的 Common Dependencies Allowlist 中 71 个域名里的 azure.com,在 Azure 上架设以 cloudapp.azure.com 结尾的 VM 作为 C2 服务器,再在 GitHub issue 中植入恶意提示,使 Codex 下载并执行恶意程序,从而远程控制该机器并读取环境变量、源码等数据。作者于 2025 年 6 月 10 日向 OpenAI 报告,当天被以 Not Applicable 关闭,他建议只使用自定义的精确域名白名单。

    #安全/对齐#Agent#OpenAI

星期五1 条

  1. Johann Rehberger / Embrace The Red研究
    AI 评分73

    用提示注入外泄 ChatGPT 聊天历史与记忆

    安全研究者 Johann Rehberger 演示了 OpenAI 的 url_safe 安全 URL 渲染功能存在绕过,攻击者可通过不可信数据中的提示注入,让 ChatGPT 把系统提示里的近期对话内容、记忆和用户交互元数据发送到第三方服务器,例如 https://trustnoai.blob.core.windows.net。该绕过及若干同类问题已于 2024 年 10 月报告给 OpenAI,作者称在发布前一个月内多次询问修复进展未获回复,因此未公开完整注入载荷。文中提到 2025 年 8 月 26 日更新称该漏洞已被 OpenAI 修复。

    #安全/对齐#OpenAI#MCP/工具调用

星期五1 条

  1. Jan Leike研究
    AI 评分54

    Anthropic 研究:对齐审计智能体自动发现问题成功率达 42%

    Anthropic 发布新研究,开发了三个 AI 智能体来自主完成对齐审计任务,测试中成功发现了隐藏目标、构建了安全评估并暴露出令人担忧的行为。Jan Leike 引用该研究指出,今年 3 月发表的论文中由人类团队负责找出被训练成失准模型的问题,如今智能体已能自动完成这一任务,成功率为 42%。

    New Anthropic research: Building and evaluating alignment auditing agents. We developed three AI agents to autonomously complete alignment auditing tasks. In testing, our agents successfully uncovered hidden goals, built safety evaluations, and surfaced concerning behaviors. https://t.co/HMQhMaA4v0

    #安全/对齐#Agent#Anthropic