近日，组里由博士生柳真同学牵头，从构思到中稿耗时近3年，前后经历2届研究生1届博士生以及时序组几乎全体成员倾力投入、共同参与的一篇综述性论文：“A Survey on Time-Series Pre-Trained Models“被IEEE Transactions on Knowledge and Data Engineering (TKDE) 期刊录用。TKDE期刊在数据挖掘领域具有很高的影响力，被中国计算机学会（CCF）列为A类期刊。
论文题目：A Survey on Time-Series Pre-Trained Models
论文简介：时间序列挖掘（Time-Series Mining,简称TSM）因其在现实场景中具有重大的应用潜力，从而受到了学术界和工业界的广泛关注。依赖于海量标注数据进行训练的深度学习模型在实际生活中已被成功用于TSM。然而，由于时间序列数据标注成本大，导致构建大规模标记良好的数据集非常困难。近年来，预训练模型（Pre-Trained Models）因其在计算机视觉和自然语言处理领域中的出色表现，逐渐引起了时间序列领域相关学者的关注。在本论文中，我们首次对时间序列预训练模型（Time-Series Pre-Trained Models,简称TS-PTMs）进行了全面回顾和分析，方便后续学者能够更好地理解、应用和研究TS-PTMs。具体来说，我们首先简要介绍了在TSM中使用的典型深度学习模型。然后，我们根据预训练技术对TS-PTMs进行了详细介绍。我们探讨的主要类别包括有监督、无监督和自监督TS-PTMs，具体如图1所示。此外，我们还进行了大量实验，全面对比了27种当前最新的时序预训练方法，434个时间序列数据集，以及679种迁移学习场景，来分析迁移学习策略、基于Transformer的模型和其他代表性TS-PTMs的优缺点。最后，对于未来工作，我们指出了TS-PTMs在“构建大规模标注时间序列数据集”、“选择合适的深度学习模型”、“时间序列的固有特性”、“对抗攻击”、“噪声标签”以及“结合预训练自然语言大模型”等六个未来发展方向。
图1 用于时间序列预训练的技术类别
代码链接：https://github.com/qianlima-lab/time-series-ptms
论文链接：https://arxiv.org/abs/2305.10716