斯坦福研究:44%的大语言模型实证结论已失效
斯坦福大学研究人员Owen Queen和James Zou测试了50个广泛引用的大语言模型声明,发现44%已经“过期”,平均寿命仅为15.7个月。关于模型“不能做什么”的推理类错误(如数草莓字母、长上下文信息丢失)失效最快,而谄媚、欺骗和战略行为等偏好类结论则更持久或有所增强。研究建议将LLM实证结果视为特定时间点的具体观察,而非普遍真理,并呼吁记录模型版本和日期以便复现。
斯坦福大学研究人员Owen Queen和James Zou测试了50个广泛引用的大语言模型声明,发现44%已经“过期”,平均寿命仅为15.7个月。关于模型“不能做什么”的推理类错误(如数草莓字母、长上下文信息丢失)失效最快,而谄媚、欺骗和战略行为等偏好类结论则更持久或有所增强。研究建议将LLM实证结果视为特定时间点的具体观察,而非普遍真理,并呼吁记录模型版本和日期以便复现。
Simon Willison 在笔记本电脑上运行 Qwen 3.8 27B,成功复现了论文中“从原始浮点权重识别游戏类型”的任务。该模型在耗时约 46 至 64 分钟、消耗数万 reasoning tokens 后,准确识别出 Pac-Man、Pong 和 Breakout 三种游戏的策略网络行为,但在较冷门的 Freeway 游戏上失败。
Latent Space 报道了一项名为“Weight Space Programming”的研究,显示前沿 LLM 能够直接读取和编辑较小模型的权重张量,无需梯度下降训练。
Berkeley AI Research 发布关于自适应并行推理的综述,探讨让 LLM 自主决定何时分解子任务、生成多少并发线程及如何协调。文章分析了从 Self-consistency、Tree of Thoughts 到 ParaThinker、GroupThink 等现有方法的局限,指出固定并行结构导致计算冗余或策略错误。