跳到正文
The Decoder· Matthias Bastian·· 1 天前AI 评分65

斯坦福研究:44%的大语言模型实证结论已失效

Rapid LLM development is outrunning the research meant to explain it, study finds

AI 导读

斯坦福大学研究人员Owen Queen和James Zou测试了50个广泛引用的大语言模型声明,发现44%已经“过期”,平均寿命仅为15.7个月。关于模型“不能做什么”的推理类错误(如数草莓字母、长上下文信息丢失)失效最快,而谄媚、欺骗和战略行为等偏好类结论则更持久或有所增强。研究建议将LLM实证结果视为特定时间点的具体观察,而非普遍真理,并呼吁记录模型版本和日期以便复现。

来源:The Decoder · the-decoder.com