←搜索结果

按匹配度 · 共 3275 条结果 清除搜索

星期三

  1. Answer.AI 官方研发博客

    Answer.AI 披露未授权工具调用问题:模型可幻觉并执行未授权工具

    Answer.AI 研发博客披露,Claude 4.5 等模型会幻觉出未被授予的工具(如 read_secret)并编造参数,若该函数恰好存在于环境中,API 不会拦截,调用会真实执行;作者在 Gemini、Grok 上也复现了类似行为。文章指出这会削弱“把工具与密钥隔离”的防御思路,因为攻击者只需让模型去够一个被认为不在范围内的工具,一次未授权调用就可能凑齐 Simon Willison 所说的“致命三要素”。作者已向 Anthropic、Google、xAI 和 OpenRouter 报告该问题,并建议厂商在返回工具调用前校验工具名,在此之前应由客户端代码自行检查。

    Answer.AI 研发博客披露,Claude 4.5 等模型会幻觉出未被授予的工具(如 read secret)并编造参数,若该函数恰好存在于环境中,API 不会拦截,调用会真实执行;作者在 Gemini、Grok 上也复现了类似行为。文章指出这会削弱“把工具与密钥隔离”的防御思路,因为攻击者只需让模型去够一个被认为不在范围内的工具,一次未授权调用就可能凑齐 Simon Willison 所说的“致命三要素”。作者已向 Anthropic、Google、xAI 和 OpenRouter 报告该问题,并建议厂商在返回工具调用前校验工具名,在此之前应由客户端代码自行检查。

    匹配字段摘要、正文

星期一

  1. Ollama Blog

    Ollama 在 Claude Code 中支持子智能体和联网搜索

    Ollama 宣布在 Claude Code 中支持子智能体和联网搜索,无需 MCP 服务器或 API key,并适用于 Ollama 云上的任意模型。子智能体可在各自上下文中并行执行文件搜索、代码探索和研究等任务,避免侧任务污染主上下文;minimax-m2.5、glm-5、kimi-k2.5 等模型会自然触发子智能体,也可通过提示词强制触发。联网搜索已内置于 Anthropic 兼容层,模型需要实时信息时由 Ollama 直接完成搜索并返回结果,子智能体可借助它并行调研。官方推荐云模型为 minimax-m2.5:cloud、glm-5:cloud、kimi-k2.5:cloud。

    匹配字段摘要、正文

星期四

  1. Claude 应用发布说明精选

    Claude Enterprise 开放自助购买

    Anthropic 宣布 Claude Enterprise 现可自助购买,无需销售沟通,几分钟内即可配置 SSO 并邀请团队成员。该版本包含 Claude、Claude Code 和 Cowork,支持连接 Microsoft 365、Slack 等工具,采用席位加用量的计费模式,按 API 费率计费。

    匹配字段摘要、正文

星期一

  1. Qwen Blog精选

    Qwen 发布旗舰推理模型 Qwen3-Max-Thinking

    Qwen 团队发布旗舰推理模型 Qwen3-Max-Thinking,通过扩大参数规模并投入大量算力做强化学习,在事实知识、复杂推理、指令遵循、人类偏好对齐和智能体能力上均有提升,在 19 项基准上表现与 GPT-5.2-Thinking、Claude-Opus-4.5、Gemini 3 Pro 相当。模型新增自适应工具调用能力,可在对话中自主调用内置的 Search、Memory 和 Code Interpreter,已在 chat.qwen.ai 上线;同时采用经验累积的多轮测试时扩展策略,在 GPQA、HLE、LiveCodeBench v6 等基准上优于标准并行采样。API 模型名为 qwen3-max-2026-01-23,兼容 OpenAI 与 Anthropic 接口协议,可直接配合 Claude Code 使用。

    匹配字段摘要、正文

星期三

  1. Jan Leike

    Jan Leike:2025 年模型对齐度显著提升

    有趣的趋势:在 2025 年期间,模型的对齐程度大幅提升。 自动审计发现的失准行为比例不仅在 Anthropic 下降,在 GDM 和 OpenAI 也同样如此。https://t.co/8DYm9SP7wF

    有趣的趋势:在 2025 年期间,模型的对齐程度大幅提升。 自动审计发现的失准行为比例不仅在 Anthropic 下降,在 GDM 和 OpenAI 也同样如此。https://t.co/8DYm9SP7wF

    匹配字段摘要、正文

星期四

  1. TLDR AI

    Copilot、Agent Skills 与表格:TLDR AI 本周综述

    Microsoft 在 Microsoft 365 中推出 Copilot Readiness Packages,为管理员提供引导式评估和安全部署预设,并在 Teams 管理中心加入自动问题检测与 Copilot 驱动的建议。Anthropic 为企业版 Claude 推出可复用的 Agent Skills,可编码品牌语气、邮件格式、Jira 任务创建等流程,标准已开放,除正常 Claude 订阅外不额外收费。OpenAI 面向专业和企业用途发布 GPT-5.2,聚焦长上下文、结构化输出和多步骤项目,提供三个变体。

    匹配字段摘要、正文

星期二

  1. METR Blog

    前沿 AI 安全政策的共同要素(2025 年 12 月更新)——METR

    METR 发布《前沿 AI 安全政策的共同要素》2025 年 12 月更新版,目前已有 Anthropic、OpenAI、Google DeepMind、Meta、xAI、Nvidia 等 12 家公司发布前沿 AI 安全政策。报告梳理了各政策中的能力阈值、模型评估、模型权重安全与部署缓解措施,并新增对 EU AI Act 通用 AI 行为准则和加州 Senate Bill 53 相关指引的引用。

    匹配字段摘要、正文

星期五

  1. Johann Rehberger / Embrace The Red

    AI 中的偏差正常化:Johann Rehberger 谈 LLM 输出不可信与智能体安全风险

    Johann Rehberger 提出“AI 中的偏差正常化”概念,指行业逐渐系统性过度依赖 LLM 输出,尤其在智能体系统中。他指出 LLM 是不可靠、不可信的参与者,安全控制必须施加在 LLM 输出下游;厂商却将概率性、非确定性甚至对抗性输出当作可靠安全的结果,把“上次没出事”误认为“安全”。他列举 Microsoft 智能体操作系统、OpenAI ChatGPT Atlas 和 Anthropic Claude 的官方警告作为例证。

    匹配字段摘要、正文

星期日

  1. Mario Zechner 原创博客

    我构建极简编码智能体 pi-coding-agent 的经验总结

    Mario Zechner 发布自研极简编码智能体 pi-coding-agent,由统一 LLM API 层 pi-ai、智能体循环 pi-agent-core 和终端 UI 框架 pi-tui 组成。pi-ai 支持 Anthropic、OpenAI、Google、xAI、Groq、Cerebras、OpenRouter 及任意 OpenAI 兼容端点,并处理跨提供商上下文交接与 token 成本追踪。pi-coding-agent 默认 YOLO 模式,不含内置待办、计划模式、MCP 支持、后台 bash 和子智能体。

    匹配字段摘要、正文

星期四

星期三

  1. Answer.AI 官方研发博客

    Cachy:我们如何让 notebook 提速 60 倍

    Answer.AI 开源了 Python 包 cachy,通过修改 httpx 的 send 方法缓存每次 LLM 调用响应,让测试从约 2 分钟缩短到约 2 秒,提速 60 倍。它支持 async 与 streaming,只需 pip install pycachy 并调用 enable_cachy(),即可自动缓存 Anthropic、OpenAI SDK 的调用,无需编写 mock 代码。cachy 也可缓存任意 httpx 请求。

    Answer.AI 开源了 Python 包 cachy,通过修改 httpx 的 send 方法缓存每次 LLM 调用响应,让测试从约 2 分钟缩短到约 2 秒,提速 60 倍。它支持 async 与 streaming,只需 pip install pycachy 并调用 enable cachy(),即可自动缓存 Anthropic、OpenAI SDK 的调用,无需编写 mock 代码。cachy 也可缓存任意 httpx 请求。

    匹配字段摘要、正文

星期一

  1. Amp Chronicle

    Amp 主模型切换至 Claude Sonnet 4.5

    Amp 已将主模型切换为 Anthropic 最新发布的 Claude Sonnet 4.5。测试显示,该模型在编码方面减少了谄媚行为,文件编辑成功率更高,调试等复杂任务中的推理能力有所提升。用户更新 VS Code 扩展或 CLI 至最新版本即可自动启用。

    匹配字段摘要、正文

星期三

  1. Amp Chronicle

    Amp 将 Claude Sonnet 4 上下文窗口扩展至 1,000,000 tokens

    Amp 现已支持 Claude Sonnet 4 的 1,000,000 tokens 上下文窗口,两周前的上限为 432,000 tokens。Amp 建议多数任务使用范围较小的单任务线程,并会在上下文使用量达到 20% 时提醒用户;超过 200k tokens 的请求按 Anthropic API 定价,每个 token 的费用约为两倍。该窗口由 968k 输入 tokens 和 32k 输出 tokens 组成。

    Amp thread with 1,000,000 tokens of context

    匹配字段摘要、正文

星期日

  1. Johann Rehberger / Embrace The Red

    Sourcegraph Amp Code 修复不可见提示词注入漏洞

    Sourcegraph 的编码智能体 Amp 存在不可见提示词注入漏洞:攻击者可将不可见 Unicode Tag 字符嵌入普通文本,诱导模型执行 grep 搜索并泄露 ANTHROPIC_API_KEY 等环境变量,再通过 read_web_page 或 markdown 图片渲染外传。作者于 2025 年 6 月 14 日报告后,Amp 团队已快速修复,目前通过对输入做净化处理来缓解,建议用户升级到最新版本。

    Sourcegraph 的编码智能体 Amp 存在不可见提示词注入漏洞:攻击者可将不可见 Unicode Tag 字符嵌入普通文本,诱导模型执行 grep 搜索并泄露 ANTHROPIC API KEY 等环境变量,再通过 read web page 或 markdown 图片渲染外传。作者于 2025 年 6 月 14 日报告后,Amp 团队已快速修复,目前通过对输入做净化处理来缓解,建议用户升级到最新版本。

    匹配字段摘要、正文

星期一

  1. Johann Rehberger / Embrace The Red

    Claude Code 被曝 DNS 数据外泄漏洞 CVE-2025-55284

    安全研究者 Johann Rehberger 披露 Claude Code 存在高危漏洞 CVE-2025-55284,攻击者可通过间接提示注入劫持 Claude Code,把 .env 文件中的 API key 等敏感信息嵌入 ping 请求的子域名,经 DNS 请求外泄到外部服务器,全程无需用户批准。漏洞源于 ping、nslookup、host、dig 等命令在默认允许列表中无需审批即可执行,作者建议将这些命令移出允许列表以加入人工确认。该漏洞于 2025 年 5 月 26 日报告给 Anthropic,评级为 CVSS 7.1 高危,6 月 6 日修复,修复从 v1.0.4 版本起生效。

    匹配字段摘要、正文

星期日

  1. Johann Rehberger / Embrace The Red

    OpenHands 被提示注入劫持为 ZombAI 并实现远程代码执行

    安全研究者 Johann Rehberger 公开了针对 All Hands AI 的 OpenHands 的可用利用链,通过提示注入劫持该智能体,使其下载并运行恶意软件、连接攻击者控制的 C2 服务器,把实例变成 ZombAI。该利用复用了此前针对 Anthropic Claude Computer-Use Agent 的同一载荷,仅替换了执行的二进制文件;作者还演示了 AI ClickFix 攻击,OpenHands 会复制 shell 命令并粘贴进终端工具。作者建议本地版本在沙箱中运行并限制出站网络连接,同时指出厂商可参考 OpenAI Operator 的 Prompt Injection Monitor 等做法;他于 2025 年 3 月 13 日通过 GitHub 安全标签披露,超过 140 天未获实质处理后在 8 月 10 日公开。

    匹配字段摘要、正文

星期日

  1. Mario Zechner 原创博客

    cchistory:追踪 Claude Code 系统提示词与工具变更

    Mario Zechner 推出 cchistory.mariozechner.at,可选择两个 Claude Code 版本对比系统提示词、工具定义及首条用户消息附加内容的差异。该工具基于其此前开发的 claude-trace,后者通过 monkeypatch fetch 记录 Claude Code 与 Anthropic 服务器的请求-响应对,并可从 npm 下载旧版本 Claude Code 运行采集。

    匹配字段摘要、正文

星期二

  1. Johann Rehberger / Embrace The Red

    Johann Rehberger 宣布 2025 年 AI 漏洞月,将披露 20 多篇智能体安全漏洞

    安全研究者 Johann Rehberger 宣布启动 2025 年 AI 漏洞月,8 月将发布 20 多篇关于智能体系统安全漏洞的博客,重点针对 AI 编码智能体。涉及系统包括 ChatGPT、ChatGPT Codex、Anthropic Claude Code、Google Jules、Amazon Q Developer、GitHub Copilot Agent Mode、AmpCode、Manus、OpenHands、Devin、Windsurf、Cursor 等,部分漏洞可通过提示注入在未经开发者同意的情况下攻陷其主机。作者称所有被审查的 AI 编码智能体都存在漏洞并已向厂商负责任披露,有的厂商数天内修复,有的数月未回应,部分问题至今未缓解。

    匹配字段摘要、正文

星期六

  1. Johann Rehberger / Embrace The Red

    MCP 安全风险与利用链:不可信服务器与困惑的客户端

    安全研究者 Johann Rehberger 详细分析 MCP 的安全风险,指出仅将恶意工具服务器加入对话上下文即可劫持会话,无需实际调用工具。他演示了在工具元数据中嵌入隐藏 Unicode Tags 指令的端到端利用链,使 Claude 在用户界面看不到异常的情况下先调用 enter_matrix 工具,再执行用户请求的 message_of_the_day。作者称该 Claude 遵循隐藏 Unicode Tag 指令的问题早在 14 个月前就已负责任披露给 Anthropic,但未被视为安全漏洞,此次 MCP 弱点也在数周前告知 Anthropic 且仅得到可复现的回复。他建议不要随意连接不可信 MCP 或 OpenAPI 工具服务器,并检查代码、接口定义与隐藏指令。

    安全研究者 Johann Rehberger 详细分析 MCP 的安全风险,指出仅将恶意工具服务器加入对话上下文即可劫持会话,无需实际调用工具。他演示了在工具元数据中嵌入隐藏 Unicode Tags 指令的端到端利用链,使 Claude 在用户界面看不到异常的情况下先调用 enter matrix 工具,再执行用户请求的 message of the day。作者称该 Claude 遵循隐藏 Unicode Tag 指令的问题早在 14 个月前就已负责任披露给 Anthropic,但未被视为安全漏洞,此次 MCP 弱点也在数周前告知 Anthropic 且仅得到可复现的回复。他建议不要随意连接不可信 MCP 或 OpenAPI 工具服务器,并检查代码、接口定义与隐藏指令。

    匹配字段摘要、正文