研究证实临床轨迹模拟器存在严重误差累积，下一事件准确率无法反映真实模拟表现

一句话结论

临床轨迹模拟器在闭环生成中误差显著累积，传统下一事件准确率指标失效，需建立跨任务闭环评测体系。

关键要点

• 基于 425,028 条 MIMIC-IV-ED 住院记录构建 EDSim-Bench 评测基准，并在 MC-MED 数据集完成外部复制验证。
• 不同随机种子下同一 Transformer 模型的终止得分在 0.43 至 0.96 间剧烈波动，误差扩散达三阶 n-gram 基线的 4.2 至 137 倍。
• 仅对最终前缀位置进行监督训练的神经模型，在终止与事件构成指标上均未能达到简单的三阶 n-gram 语言模型水平。
• 对所有合格序列位置进行全序列监督，可将误差扩散降低一至两个数量级，且该规律在模型规模扩大、时间推移与外部站点评估中持续成立。
• 性能最优模型的生成住院时长仍比真实观测短约一半，且在床位管理等下游任务中模型排名发生反转。

背景与事实

该研究发表于计算机科学机器学习领域，针对临床轨迹模型评估中普遍存在的指标盲区展开系统量化。临床轨迹模型在真实场景中并非被动响应历史数据，而是需要基于自身生成的中间事件持续条件化预测，这一机制导致微小预测偏差随时间步长不断放大。研究团队因此开发了名为 EDSim-Bench 的评测框架，采用 425,028 条 MIMIC-IV-ED 急诊住院记录作为主数据集，并通过 MC-MED 数据集完成外部验证，最终开放了完整的评估协议与评分代码供复用。

评测机制从留出的就诊前缀出发，要求模型自主生成后续完整事件序列，并在终止判定、事件构成、时间分布、条件保真度及占用率预测五个维度进行量化。作为参照基线，研究采用仅在训练集上拟合的三阶 n-gram 模型，刻意排除了对测试集的过拟合干扰。结果显示，三种神经架构在闭环滚动生成中表现差异巨大：即便下一事件准确率差异不足 0.001，不同模型在长程生成中的行为仍呈非线性分化。

在训练策略层面，研究对比了仅监督最终前缀位置与监督所有合格序列位置两种方案。后者在 Transformer、GRU 与 LSTM 三类架构上均将误差扩散降低了约一至两个数量级。该缓解效应在模型规模扩大、时间序列偏移及跨站点外部评估中保持一致性。同时，推理阶段的干预措施虽能改善终止得分，但无法同步恢复事件构成与时间分布的准确性。值得注意的是，即便是表现最佳的模型，其生成的就诊时长仍比真实观测短约一半，且模型在床位管理相关的占用率预测任务中出现了排名反转现象。

影响分析

对于中文医疗人工智能从业者而言，该研究直接挑战了当前临床预测模型评测的惯用范式。国内医疗大模型团队在评估急诊流程模拟器或患者病程预测系统时，若仍沿用下一事件准确率作为核心指标，将系统性高估模型在真实长程模拟中的可靠性。研究证据表明，简单的统计 n-gram 基线在长程生成中可能优于复杂的神经网络模型，这一结论提醒算法工程师必须将误差累积管理纳入模型架构与训练策略设计。

在医疗资源调度与床位管理等下游应用中，指标失真可能导致模型选型出现严重偏差。模型在序列生成任务上的排名与其在业务相关占用率预测任务上的排名发生反转，说明技术开发者不能将单一生成指标直接映射为业务可用性。国内开发团队在部署临床轨迹模拟器前，必须构建包含多种子随机性、多粒度时间分布及业务下游任务的闭环评测闭环，才能避免将存在长程漂移风险的模型投入实际诊疗支持流程。

适用边界

该结论基于急诊住院轨迹的离散去标识化事件序列得出，其误差累积规律与评估协议不一定适用于连续生理信号监测或图像序列生成场景。研究受限于 MIMIC-IV-ED 与 MC-MED 数据集的事件字典与时间粒度，在跨数据集迁移、更短时间步长或包含更多模态输入的临床模拟器中，误差扩散的具体倍数与模型排名反转现象可能发生改变。

孤本观察

临床轨迹模拟器的长程生成风险在主流评价指标体系中长期处于盲区，简单的统计基线暴露了纯神经架构在闭环生成中的结构性脆弱。

来源：arXiv cs.LG