来自伦敦大学学院、剑桥大学、牛津大学等机构的团队发布了一个神经学专用基准BrainBench，登上了Nature子刊《自然人类行为（Nature human behavior）》。

结果显示，经过该基准训练的LLM在预测神经科学结果的准确度方面高达81.4%，远超人类专家的63%。

在神经学常见的5个子领域：行为/认知、细胞/分子、系统/回路、神经疾病的神经生物学以及发育/塑性和修复中，LLM的表现也都全方位超过了人类专家。

更重要的是，这些模型被证实对于数据没有明显的记忆。

也就是说，它们已经掌握了一般科研的普遍模式，可以做更多的前瞻性（Forward-looking）预测、预测未知的事物。

这立马引发科研圈的围观。

多位教授和博士后博士后也表示，以后就可以让LLM帮忙判断更多研究的可行性了，nice！

LLM预测能力全面超越人类专家

让我们先来看看论文的几个重要结论：

总体结果：LLMs在BrainBench上的平均准确率为81.4%，而人类专家的平均准确率63.4%。LLMs的表现显著优于人类专家

子领域表现：在神经科学的几个重要的子领域：行为/认知、细胞/分子、系统/回路、神经疾病的神经生物学以及发育/塑性和修复中，LLMs在每个子领域的表现均优于人类专家，特别是在行为认知和系统/回路领域。

模型对比：较小的模型如Llama2-7B和Mistral-7B与较大的模型表现相当，而聊天或指令优化模型的表现不如其基础模型。