GitHub 发布 ReviewBench:面向 AI 代码审查的开源基准
GitHub 推出 ReviewBench,这是一个用于评估 AI 代码审查智能体的开源离线基准。该基准基于对 GitHub 上 1.039 亿个真实 Pull Request 的分析构建,包含涵盖 19 种语言的 219 个代表性 PR,并采用多源黄金集和独立验证机制。
推荐理由:原文公开了基于亿级真实PR构建的代码审查基准,提供了可复现的评估方法以量化AI审查器的精度与召回权衡。
GitHub 推出 ReviewBench,这是一个用于评估 AI 代码审查智能体的开源离线基准。该基准基于对 GitHub 上 1.039 亿个真实 Pull Request 的分析构建,包含涵盖 19 种语言的 219 个代表性 PR,并采用多源黄金集和独立验证机制。
推荐理由:原文公开了基于亿级真实PR构建的代码审查基准,提供了可复现的评估方法以量化AI审查器的精度与召回权衡。
Berkeley AI Research 提出 ABBEL 框架,通过隔离和监督自然语言信念状态来替代递归摘要,解决 LLM 在长程交互中的上下文扩展瓶颈。在 CollabBench 协作编码测试中,ABBEL-rec-BG 将性能差距缩小约 50%,训练步数减少 50%,且峰值 Token 用量显著低于全上下文模型。