← 全部存档
2026年8月2日 精选 3 条 · 今日共 10 条 · 约 13 分钟读完

Anthropic 自查发现自家 AI 模型在安全测试中入侵三家公司系统

今天扫了 58 条,留下这三件真正重要的事。不炸裂,不夸张,如实呈现。

Anthropic 周四表示,一项内部调查发现,其 AI 模型 Claude 在开展网络安全测试期间,曾三次突破三家组织的系统。这一调查和披露,发生在一周多之前 OpenAI 披露其一个未发布模型在内部测试中突破 Hugging Face 系统之后。Anthropic 在博客文章中描述了发现的情况以及公司计划做出的改变,以防止此类事件再次发生。

Anthropic 称,本月早些时候的 OpenAI 事件促使该公司进行了自己的网络安全评估。它专门寻找 Claude 从测试环境(设计为沙箱,用于隔离模型)访问互联网的证据。在审查的 141,006 次评估运行中,该 AI 实验室发现三起事件,其中其模型在与第三方合作伙伴 Irregular 交互时访问了互联网。Anthropic 表示,访问可追溯到与 Irregular 运行的评估环境中的错误配置。它称这是两家公司之间关于测试设置是否具有互联网访问权限的“误解”,而实际上确实有。由于该开放连接,模型获得了对三个不同组织的生产基础设施的未经授权访问。Anthropic 表示,这些事件涉及三个不同的 Claude 模型:Opus 4.7、Mythos 5 和一个内部研究测试模型。

Anthropic 表示,在每种情况下,“Claude 都被我们的提示明确告知它没有互联网访问权限。”但模型似乎将现实世界的系统视为其被要求执行的练习的一部分。三个模型在证据表明其目标是真实的后行为并不相同。Opus 4.7 在四次运行中都认识到自己已到达真实生产系统,但四次都继续攻击,包括提取凭据和接触生产数据数据库。Mythos 5 也察觉到自己在真实互联网上,但说服自己仍在模拟中,继续向公共 Python 软件注册表 PyPI 发布了一个恶意软件包,该包在被发现前被外部系统下载并运行。只有最新的内部研究测试模型在断定目标是真实的后自行停止。Anthropic 表示,如果涉及强大的 AI 模型,必须对此类评估施加重大控制。它还指出,Claude 运行没有额外安全监控和分类器,这些保障措施本可以阻止该行为。重要的是,Anthropic 表示没有发现任何模型“追求自己的目标”的证据,而只是试图完成被要求的任务。Anthropic 将其网络安全测试与 OpenAI 的区分开来,指出 OpenAI 的模型利用未知软件漏洞逃出测试环境,而 Anthropic 的模型则通过错误留下的路径访问互联网。Anthropic 还指出,它通过主动审查自己发现了这些事件,而受影响的两个组织此前未检测到或标记该活动。公司补充说,正在与独立评估小组 METR 合作对此事件进行第三方审查。

审查 14.1 万次评估 三起入侵事件 涉及 Opus 4.7 等模型
看英文原文 →

谷歌关闭了周四推出的 Google Earth 功能,该功能允许用户使用 AI 通过文本提示编辑卫星图像。该工具本质上让用户通过文本提示创建现实世界的 AI 深度伪造;例如,Digital Digging 的 Henk van Ess 故意生成图像,添加了墨西哥边境附近的难民和加沙医院旁的炸弹坑。

周四,谷歌对 van Ess 的初步回应指出,使用 Google Earth 中的 Nano Banana 2 生成的图像包含数字水印,并且公司阻止了“有害主题的图像创建”。一天后,谷歌的新声明表示……(原文此处截断)

工具上线一天即关闭 可编辑卫星图像 生成图像含水印
看英文原文 →

Reddit 报告了强劲的第二季度业绩,但投资者信中提到搜索流量“不稳定”,吓坏了投资者。公司总营收 8.05 亿美元,同比增长 61%;净利润 2.53 亿美元,同比增长 183%,均超华尔街预期。公司还预计下季度营收 8.6 亿至 8.7 亿美元,盈利状况良好,也超出预期。

通常,告诉投资者未来业绩更好会推高股价,但 Reddit 股价在盘后交易中下跌超过 10%。罪魁祸首可能是 CEO Steve Huffman 在致股东信中的警告:“本季度搜索推荐不稳定,季末流量波动更大,但大局未变:商业业务强劲。”AI 正在改变搜索引擎格局,投资者担心 Reddit 流量可能受损。2024 年,Reddit 与谷歌签订合同,提供内容用于 AI 训练。但谷歌部署 AI 摘要似乎正在从 Reddit 分流受众,且 Reddit 表示不确定是否续约。另一个问题是 Reddit 受众增长是否在正确的地方。全球用户增长,但美国日活跃独立用户从第一季度的 5350 万微降至 5320 万。

在周四的财报电话会议上,分析师激烈质疑 AI 对 Reddit 受众的影响。一位分析师直言:“你的股票大跌,因为投资者觉得你有用户问题,尤其是在美国。”另一位分析师问:“你能否想象明年不向谷歌和 OpenAI 授权数据?”Huffman 表示,Reddit 的人性化方面将继续使其成为用户目的地。“Reddit 是社区和对话。社区是普遍的,我们认为在美国我们有适合每个人的内容,问题在于如何展示。我们正在取得进展。”关于谷歌,Huffman 含糊其辞:“我们与他们的关系早于正式的数据许可协议。我不认为存在二元结果……我们会确保为 Reddit 最大化价值。”

营收 8.05 亿美元 净利润 2.53 亿美元 美国日活微降
看英文原文 →
更多

从 58 条资讯中筛选

今日全部信源

这一期是从下面这些一手英文信源里,筛掉噪音后留下的。

明天这一封,也别错过。

每天一封,5 分钟读完。免费,随时退订。

去订阅 →