The Decoder· Matthias Bastian·· 1 天前AI 评分65
斯坦福研究:44%的大语言模型实证结论已失效
Rapid LLM development is outrunning the research meant to explain it, study finds
AI 导读
斯坦福大学研究人员Owen Queen和James Zou测试了50个广泛引用的大语言模型声明,发现44%已经“过期”,平均寿命仅为15.7个月。关于模型“不能做什么”的推理类错误(如数草莓字母、长上下文信息丢失)失效最快,而谄媚、欺骗和战略行为等偏好类结论则更持久或有所增强。研究建议将LLM实证结果视为特定时间点的具体观察,而非普遍真理,并呼吁记录模型版本和日期以便复现。
来源:The Decoder · the-decoder.com