LOTUS 模型提出“预测锚定”预训练原则，以小参数规模在时间序列理解任务中超越大 25 至 50 倍模型

一句话结论

研究者提出名为 LOTUS 的时间序列语言模型，通过要求表征保留对未来演化的预测能力，使小模型在理解任务上大幅超越大模型。

关键要点

• LOTUS 采用“预测锚定”预训练原则，强制语言对齐的时间序列表征在适配下游任务前必须保持对信号未来演化的预测力。
• 模型将时间序列通道划分为不重叠补丁，并引入“时频补丁表征”，将原始数值补丁与其频谱表示结合后映射至 LLM 嵌入空间。
• 在三个语言模型骨干网络和六个下游评估数据集上，LOTUS 取得最佳平均性能，准确率达到 59.91%。
• 相比最强的匹配基线模型，LOTUS 性能提升 3.36%，且使用的可训练参数极少。
• 在 TSRBench 基准测试中，LOTUS 的表现优于参数量为其 25 到 50 倍的大模型。

背景与事实

这项由机器学习领域研究者提出的工作发布于 arXiv 预印本平台，提交时间为 2026 年 10 月 1 日。传统的时间序列语言模型通常依赖于标签、描述文本或问答对来将数值信号与语言进行对齐。虽然这种监督信号鼓励模型建立语言表征，但它并不显式要求这些表征保留关于底层时间序列信号如何随时间演化的信息。研究团队指出，这种缺失导致模型在处理需要理解时序动态变化的任务时存在先天不足。

针对这一问题，研究者引入了“预测锚定”（forecast grounding）作为新的预训练原则。该原则的核心在于，要求经过语言对齐的时间序列表征在适配任何下游任务之前，必须保持对未来演化的预测能力。这一机制确保了学习到的表征中保留了关键的时间信息。在具体实现上，LOTUS 模型将每个时间序列通道划分为不重叠的补丁（patches），并将其映射到 LLM 的嵌入空间。随后，模型利用时间序列 token 的 LLM 隐藏状态来预测下一个补丁，从而鼓励学习到的表征保留时间结构。

为了同时捕捉时间变化和周期性模式，研究团队还提出了一种“时频补丁表征”（temporal-spectral patch representation）。该方法将每个原始时间序列补丁与其频谱表示相结合，然后再映射到 LLM 嵌入空间。这种混合表征允许模型同时关注时域内的动态变化和频域内的周期特征。

实验部分涵盖了三个不同的语言模型骨干网络（language model backbones）和六个下游评估数据集。结果显示，LOTUS 在所有测试中均取得了最佳的平均性能。具体而言，其准确率达到了 59.91%，比最强的匹配基线模型高出 3.36%。此外，表征分析表明，LOTUS 能够有效利用数值输入，并在其学习到的补丁表征中保留了时间结构。这些结果确立了“预测锚定”作为一种有前途的预训练原则，证明了紧凑的时间序列语言模型可以在 TSRBench 等基准上超越体积为其 25 到 50 倍的模型。

影响分析

对于中文开发者与数据科学家而言，LOTUS 的研究结果具有显著的工程价值。首先，它提供了一种高效的路径来构建时间序列大模型。传统做法往往依赖堆砌超大参数量的 LLM 来处理复杂的时间序列任务，但 LOTUS 证明通过改进预训练原则，小参数模型也能取得优越甚至更好的效果。这意味着在实际部署中，企业和研究机构可以使用算力需求更低、推理速度更快的小模型来处理金融、气象、IoT 等时间序列场景，大幅降低硬件成本和运维复杂度。

其次，“预测锚定”原则为时间序列模型的通用化提供了新范式。以往时间序列模型多为任务专用，泛化能力较弱。LOTUS 通过强制保留时序预测能力，使得模型表征更具通用性，可能更容易迁移到未见过的时间序列任务中。对于正在探索时间序列基础模型（Time-series Foundation Models）的团队，这一发现是一个重要里程碑，提示预训练目标的设计比单纯扩大模型规模更能决定性能上限。

适用边界

需要注意的是，LOTUS 的优势主要体现在“理解”和“预测”类任务上，且依赖于高质量的时间序列数据输入。对于需要处理极度稀疏、噪声极大或缺失值过多的时间序列数据，该模型的有效性可能需要重新评估，因为“预测锚定”依赖于信号中存在的可预测结构。此外，虽然模型参数量小，但引入了频谱计算模块，这在某些边缘计算或对实时性要求极高的嵌入式场景中，其计算开销和部署复杂度仍需进一步验证。该结论在数据分布极其偏离训练集分布的异常场景下可能不成立。

孤本观察

编辑观察认为，LOTUS 的成功揭示了“预测能力”作为通用表征学习基础的潜力，这种将下一时刻预测作为预训练目标的做法，可能成为时间序列模型领域类似 BERT 在 NLP 领域那样的一种标准范式。

来源：arXiv cs.LG