时间序列基础模型的循环域增量自适应
Recurrent Domain Incremental Adaptation of Time-Series Foundation Models
预印本 · 尚未经过同行评审
PACT 将冻结的源嵌入空间划分为局部图卡并学习轻量残差迁移,在每条件仅 5% 标注数据下保持轴承故障流平均 macro-F1 高于 0.95。
预训练时间序列基础模型(TSFMs)为下游分类任务提供了强大的表征。然而,在运行条件变化的情况下对 TSFM 进行适配仍然具有挑战性。模型必须在每个新观测到的条件上有所提升,同时不牺牲它已经学会的条件,而且通常只能依赖一个小的有标签校准集,并且在推理时不知道运行条件。我们发现这一困难具有重要的几何结构。在运行条件偏移下,TSFM 的嵌入空间并非均匀移动:一些局部区域发生显著变化,而另一些区域几乎保持不变。因此,全局适配可能会不必要地移动那些已经被正确分类的嵌入。为解决这一问题,我们提出了新颖的 PACT(Piecewise Adaptation via Chart Transport,基于图册传输的分段适配)。PACT 将冻结的源嵌入空间划分为局部图册,并为受每个新条件影响的区域学习轻量级残差传输。始终保留一条显式的恒等路径,并由一个学习到的门控为每个输入在恒等路径与累积传输之间进行软选择。预训练的 TSFM 编码器、分类头以及先前学到的传输保持固定。在每到达一个条件仅有 5% 有标签校准数据、且测试时不知道条件身份的情况下,PACT 在四条件轴承故障流上保持了高于 0.95 的平均 macro-F1。在同质任务和标签空间下,在公开基准上也观察到了类似的保持-适配行为。代码可在 https://github.com/Sachithx/PACT 获取。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Signal Processing · arxiv.org