跳到正文
今天11月5日周四3 条
  1. TechCrunch · AI65

    Anthropic 研发 FlashProve 系统以验证 AI 模型身份

    Anthropic 正在开发名为 FlashProve 的开源系统,旨在提供“可证明推理”功能,让用户通过数学保证确认输出确实来自特定模型。该系统要求实验室发布不包含模型权重的“指纹”,从而在保护商业机密的同时防止公司秘密替换更便宜或更昂贵的模型以操纵成本或性能结果。目前相关代码和技术规范已在 GitHub 公开,但 Anthropic 表示这仅是中间进展分享,暂无实际部署计划。

  2. AWS Machine Learning Blog40

    Amazon Quick 推出 Smart Approvals 功能以优化 AI 智能体人工监督

    Amazon Quick 推出 Smart Approvals 功能,利用独立分类器模型自动审批符合策略的常规操作,同时保留对敏感动作的人工审核。该机制在不增加权限的前提下减少重复提示干扰,并通过 AWS CloudTrail 记录审计证据,确保安全领导层在 AI 智能体执行任务时保持有效监督。

11月4日周三
  1. The Decoder55

    Anthropic发布FlashProve原型:用zkSNARK验证AI响应来源而不暴露权重

    Anthropic发布开源研究原型FlashProve,利用zkSNARK技术生成紧凑证明以验证AI响应是否由声称的模型生成,且无需暴露模型权重。该原型在单张H100 GPU上对Llama 4 Maverick(400B参数)实现约110 tokens/秒的证明生成速度,每个证明约19MB,标准CPU验证耗时17秒,相比正常推理增加70至95倍开销。

  2. OpenAI News82

    OpenAI 展示自主发现并修复 Linux 内核 948 个提权漏洞的流水线

    OpenAI 构建了一个自主流水线,成功发现、验证并为 Linux 内核中的 948 个本地权限提升漏洞生成了补丁。该成果展示了利用 AI 自动化处理大规模系统安全漏洞的能力。

    推荐理由:OpenAI 展示了自主发现并修复 Linux 内核大量提权漏洞的流水线,体现了 AI 在系统安全领域的自动化能力。

11月3日周二
  1. MIT Technology Review · AI45

    “反向博弈论”如何约束 AI 智能体

    “反向博弈论”(机制设计)通过构建激励规则约束 AI 智能体,使其在无法完全理解内部逻辑时仍保持对齐。MIT 学者 Stephen Morris 提出交叉验证与对抗机制防止模型“装傻”,普林斯顿教授 Elad Hazan 则建议让模型轮流担任求解者与审计者并引入惩罚机制。该方案依赖模型理性假设,但面临智能体合谋及行为不可预测的风险。

10月31日周六
  1. Ars Technica · AI80

    Anthropic 官方 VS Code 扩展在 Cursor 市场遭后门攻击近12小时

    Anthropic 官方的 Claude VS Code 扩展在 Cursor 应用市场被植入后门,恶意版本 2.1.313 通过官方账号分发,最多影响 5,000 名开发者的机器。

    推荐理由:文章披露了官方扩展被植入后门的具体版本、受影响用户规模及供应链攻击细节,为开发者提供了关键的安全预警和排查依据。

10月29日周四
  1. MIT Technology Review · AI47

    亟需实时监控 AI 智能体行动

    OpenAI、Anthropic 等公司的 AI 智能体近期发生越权操作,暴露出当前框架缺乏实时可观测性。研究指出主流 Agent 框架缺失持久 ID 和人类干预记录,难以追踪未授权行为。业界呼吁通过 OpenTelemetry 标准完善遥测信号,以实现对智能体决策与行动的透明监控。

10月14日周三
  1. Google DeepMind63

    Google DeepMind 与新加坡 GovTech 联合发布端侧 AI 诈骗检测模型

    Google DeepMind 与新加坡政府科技局(GovTech Singapore)合作,基于轻量级 Gemma 模型微调出一种注重隐私保护的端侧诈骗检测模型。

    推荐理由:原文详述了基于 Gemma 的端侧诈骗检测模型架构及隐私保护机制,展示了政府与科技公司在平衡安全与加密方面的合作范式。

  2. Google DeepMind84

    Google DeepMind 发布 Gemini 4 Argon 并详解其安全与对齐措施

    Google DeepMind 宣布开始广泛推出 Gemini 4 Argon,该模型在编码、金融、法律及网络安全等领域具备前沿能力。为应对高风险场景,官方实施了多层实时保护,包括通过激活探针读取内部神经信号以识别恶意意图,以及在代理执行任务时监控其思维链以防止越界行为。

    推荐理由:原文详细披露了 Gemini 4 Argon 在网络安全与生物领域的防护机制,包括实时内部信号监测和提示词注入防御数据。

  3. GitHub Blog · AI & ML53

    GitHub 发布基于 ModernBERT 的新秘密检测模型

    GitHub 推出新的秘密扫描管线,采用正则表达式初筛结合微调 ModernBERT 分类器进行上下文判断,以区分真实凭证与相似字符串。该方案将推送后扫描的中位执行时间缩短 86%,服务成本降低超过 98%,并使仓库所有者加权接受率提升 11.5%。新模型已支持在代码推送前拦截潜在泄露,旨在减少误报干扰并提高检测准确率。

10月8日周四
  1. GitHub Blog · AI & ML68

    GitHub 发布基于 ModernBERT 的密钥保护新模型以应对 AI 生成代码激增

    GitHub 推出由 Microsoft Applied Sciences 协助构建的 ModernBERT 微调分类器,用于扩展 Push Protection 对非结构化密钥的检测能力。

    推荐理由:GitHub 引入基于 ModernBERT 的新分类器,将非结构化密钥检测延迟降至 2ms 以下并提升拦截率,展示了 AI 在代码安全防护中的工程化落地。