EEGAgentBench 发布：首个统一评测 LLM 代理长时序脑电分析能力的基准

一句话结论

新基准 EEGAgentBench 揭示当前大模型代理在长时序脑电分析中普遍缺乏持续证据积累与多步推理能力。

关键要点

• EEGAgentBench 覆盖 2 秒至 23 小时信号，包含知识问答、睡眠分期等 6 类脑电应用任务。
• 该基准提供 10 个仅暴露任务相关测量的确定性工具，强制代理自主选具并构建工作流。
• 评测 29 个前沿大模型家族中的 15 种模型，发现模型规模与推理成本不能解释其表现差异。
• 现有脑电代理评测存在任务碎片化、时间窗口窄、协议不一致的缺陷，缺乏统一推理评测。
• 代理在长时序事件检测与序列理解任务中表现显著劣于短时序分类任务。

背景与事实

脑电分析（Electroencephalography，EEG）正从短片段分类向长时序解释演进，后者要求迭代式证据积累、多步推理与专用信号处理工具的协同。尽管大语言模型（Large Language Models，LLM）作为自主代理在脑电分析中展现出潜力，但现有评测体系仍碎片化：任务覆盖有限、时间窗口狭窄、协议不一致，且无法系统评估代理的推理、工具使用与工作流构建能力。
EEGAgentBench 由计算机科学与机器学习领域研究者于 2026 年 9 月 10 日在 arXiv 发布。该基准跨越六个代表性脑电应用，从知识问答延伸至睡眠分期；信号时长覆盖 2 秒至近 23 小时，预测目标涵盖类别标签、事件区间与片段级序列。这种设计支持跨知识推理、短时序解释、长时序事件检测与序列理解的统一评估。基准额外提供 10 个确定性脑电分析工具，这些工具仅暴露任务相关的信号测量，迫使代理自主选择工具、迭代积累证据并构建多步工作流。
在实验设计中，研究者评测了来自 15 个模型家族的 29 个前沿大模型。结果表明 EEGAgentBench 能有效区分代理能力，且这种区分力独立于模型规模与推理成本。同时发现当前 LLM 代理在长时序脑电分析中存在显著局限，尤其在持续证据积累与多步推理方面。

影响分析

对中文开发者与从业者而言，EEGAgentBench 填补了脑电领域代理评测的空白，为构建长时序脑电分析系统提供了可复现的基准工具。医疗 AI 团队可据此验证模型代理在睡眠分期、癫痫事件检测等临床场景中的可靠性边界；信号处理工程师能明确现有 LLM 代理在持续证据积累任务中的失败模式，从而针对性优化工作流设计。由于该基准强制代理自主选具而非依赖预定义管道，它也为工具链集成与提示工程研究提供了新的实验范式。

适用边界

该基准结论仅适用于使用确定性工具接口且任务目标为类别标签、事件区间或片段序列的脑电分析场景。若代理依赖非确定性工具、处理非脑电模态信号，或任务目标为自由文本生成而非结构化预测，则 EEGAgentBench 的评测结果不能直接外推。

孤本观察

EEGAgentBench 将信号时长上限设为近 23 小时而非真实临床脑电监测的 72 小时，暗示当前 LLM 代理在超长时间窗口下的稳定性仍未经检验，其结论对全天候监护场景的普适性存疑。

来源：arXiv cs.LG