国外购物网站排行榜,网站站seo教程,广州网站建设网站推广,昆明网站开发论文题目#xff1a;TimesURL: Self-supervised Contrastive Learning for Universal Time Series Representation Learning 论文地址#xff1a;https://arxiv.org/abs/2312.15709 代码地址#xff1a;暂无 摘要
学习适用于各种下游任务的通用时间序列表示具有挑战性… 论文题目TimesURL: Self-supervised Contrastive Learning for Universal Time Series Representation Learning 论文地址https://arxiv.org/abs/2312.15709 代码地址暂无 摘要
学习适用于各种下游任务的通用时间序列表示具有挑战性但在实际应用中很有价值。最近研究人员试图利用计算机视觉(CV)和自然语言处理(NLP)中自我监督对比学习(SSCL)的成功来解决时间序列表示问题。然而由于特殊的时间特征仅仅依靠其他领域的经验指导可能对时间序列无效并且难以适应多个下游任务。为此本文综述了SSCL中涉及的三个部分:1)设计正对增广方法2)构造(难)负对3)设计SSCL损耗。对于1)和2)我们发现不适当的正负对构建可能会引入不适当的归纳偏差这既不能保持时间性质也不能提供足够的判别特征。对于3)仅仅探索段级或实例级语义信息不足以学习通用表示。为了解决上述问题我们提出了一种新的自监督框架TimesURL。具体来说我们首先引入基于频率时间的增强来保持时间属性不变。在此基础上我们构建了双universum作为一种特殊的难负样本来指导更好的对比学习。此外我们引入时间重构作为与对比学习的联合优化目标以捕获段级和实例级信息。因此TimesURL可以学习高质量的通用表示并在6个不同的下游任务中实现最先进的性能包括短期和长期预测、imputation、分类、异常检测和迁移学习。
1 介绍
学习信息丰富且通用的多类型下游任务时间序列表示是一个基本但尚未解决的问题。由于时间序列数据的高维性和特殊的时间特征以及不同任务需要不同的语义信息将自我监督对比应用于时间序列需要定制解决方案。
本方法中涉及的四个主要部分包括1)正样本设计的增强方法2)骨干编码器3)(难)负对4)预训练任务的损失并试图投入努力探索在通用表示学习中更有效的时间序列特征捕获解决方案。由于骨干编码器在时间序列编码器学习中得到了广泛的研究我们的注意力主要集中在剩下的三个组成部分
1大多数增广方法在应用于时间序列数据时可能会引入不适当的归纳偏差。
直接借用了CV和NLP领域的思想。可能会破坏原始时间序列中固有的时间变化干扰时间依赖性影响过去和未来时间戳信息之间的关系。因此由于时间序列的有价值的语义信息主要存在于时间变化和依赖关系中这种增强无法捕获有效的通用表示学习所需的适当特征。
2难负样本选择的重要性在其他领域得到了证明但在时间序列文献中仍未得到充分探索。
由于局部平滑性和马尔可夫性大多数时间序列片段可以看作是简单的负样本。这些片段往往表现出与正样本的语义不相似只贡献了很小的梯度因此无法提供有用的判别信息。虽然包含少量难负样本(与正样本具有相似但不完全相同的语义)已被证明有助于改进和加快学习它们的有效性被大量容易的简单负样本所掩盖。
3仅使用分段器实例级的信息是不足以学习通用表示的。
预测、异常检测和imputation它们更多地依赖于在段级别捕获的细粒度信息因为这些任务需要推断特定的时间戳或子序列。分类和聚类优先考虑实例级信息即粗粒度信息旨在推断整个系列的目标。因此当面对任务不可知的预训练模型时在预训练阶段缺乏对特定任务的先验知识或意识片段级和实例级信息对于实现有效的通用时间序列表示学习是必不可少的。
2 创新点 设计了一种新的基于频率时间的增强方法称为FTAug该方法是时域裁剪和频域混频的结合。 设计了double Universums作为难负样本。在特征空间中分别在实例和时间维度上将特定的正样本与负样本进行特异性混合作为特殊的高质量硬负样本。 共同优化对比学习和时间重建以在片段和实例级别捕获和利用信息。 完成六个下游任务短期和长期预测、imputation、分类、异常检测和迁移学习。
3 方法 由原始数据 x 生成被掩蔽的 xm 再分别经过 FTAug 生成数据增强的 x 和 xm 。 得到两对原始数据和增强数据第一对 (x,x) 用于对比学习第二对(xm, xm)用于时间重构。 将上述集合与fθ进行映射得到相应的表示 r , rm , r , rm 上述23表示预训练损失为计算xm和xm的重构损失计算 r 和 r 之间的对比损失
1)采用合适的增强方法构建正对2)有一定数量的硬负样本用于模型泛化3)通过对比学习和时间重建损失共同优化编码器fθ以捕获两层信息保证了上述模型的有效性。 3.1 FTAug增强
大多数增强策略都是任务相关的可能会引入对数据分布的强假设。更严重的是它们可能会扰乱对预测等任务至关重要的时间关系和语义一致性。因此我们选择上下文一致性策略该策略将两个增强上下文中相同时间戳的表示视为正对。我们的FTAug结合了频率和时域的优势通过频率混合和随机裁剪产生增强的上下文FTAug只适用于培训过程。 频率混合是将样本进行FFT运算将xi中一定比例的的频率分量替换为同一批次另一个随机训练实例xk的相同频率分量从而产生新的上下文视图然后我们使用逆FFT转换回来得到一个新的时域时间序列。 在样本之间交换频率成分不会引入意想不到的噪声或人为周期性并且可以为保持数据的语义特征提供更可靠的增强。 随机裁剪是上下文一致性策略的关键步骤。对于每个实例xi我们随机抽取两个重叠的时间段[a1, b1] [a2, b2]其中0a1≤a2≤b1≤b2≤t对比学习和时间重构进一步优化重叠时间段[a2, b1]中的表示。 最终该方法能够保持时间序列的重要时间关系和语义一致性对各种任务都有帮助。
3.2 Double Universum 构建难负样本
由于时间序列的局部平滑性和马尔可夫性大多数负样本都是简单的负样本因为它们从根本上缺乏驱动对比学习所需的学习信号因此不足以捕获时间智能信息。
Double Universum 是将Mixup Induced universum 应用在实例和时间方面将特定的正特征与未注释数据集的负特征混合在一起。
i 为输入时间序列样本的索引t为时间戳。ri,t和ri,t表示相同时间戳t的表示但是是xi的两个增广。时间戳为t的第i个时间序列的在时间层面的Universum可以表示为其中t 是在两个子序列重叠处的时间戳集合中随机选取的t不等于t。 同理时间戳为t的第i个时间序列的在实例层面的Universum可以表示为其中j表示批B中除i以外的任何其他实例。 λ1 λ2∈(0,0.5)是锚点随机选择的混合系数λ1 λ2≤0.5保证正样本的贡献始终小于负样本。
如图(a)所示大多数Universum(蓝色三角形)更接近正样本因此可以视为难负样本。
如图(b)所示在使用(蓝)和不使用(红)Universum在ERing数据集上训练TimesURL时正面样本被评为整体负面样本的百分比来表明难负样本的难度。尽管TimesURL的代理任务性能下降了但是线性分类的性能得到了进一步的提高。 3.3 段级信息的对比学习
将double Universums分别作为时间和实例对比损失的附加难负样本注入到对比学习中。第 i 个时间序列在时间戳t处的两个损失可以表示为负样本相当于 batch中其他实例 和 正样本元素所构造的难负样本的集合。 这两种损失是相互补充的以捕获实例特定特征和时间变化。使用分层对比损失在沿时间轴的学习表征上使用最大池化来进行多尺度信息学习。
在几次最大池化操作之后重要的时间变化信息(如趋势和季节)会丢失因此在顶层进行对比实际上无法捕获足够的实例级信息用于下游任务。 3.4 实例级信息的时间重构
使用随机掩蔽策略仅在被屏蔽的时间戳上计算MSE损失。 总的损失为α是平衡这两种损失的超参数。 4 实验
使用TCN作为骨干编码器类似于TS2Vec。baseline有15个不同任务选择的baseline不同。
4.1 下游任务
4.1.1 分类
遵循与TS2Vec相同的协议使用带有RBF内核的SVM分类器在表示上进行分类训练。选择UEA和UCR数据集 4.1.2 插值
使用ETT数据集以{12.5%25%37.5%50%}的比例随机屏蔽时间点。遵循与TimesNet相同的设置使用MLP网络进行下游任务。 4.1.3 长期和短期预测
使用ETT、ECL和Weather数据集后两个数据集的结果见附录。短期预测的范围为24和48而长期预测的范围为96到720 4.1.4 异常检测
在时间序列异常检测中确定时间序列切片中的最后一个点是否异常在训练过程中每个时间序列样本按照时间顺序分成两半其中前半部分用于训练后半部分用于评估。使用KPI 和Yahoo 数据集其中包括367小时采样时间序列。KPI是一个竞争数据集包含多个分钟采样的真实KPI曲线。 4.1.5 迁移学习
在一个条件下(即源域)训练在其他多个条件下(即目标域)测试。在UCR中的CBF和 CinCECGTorso上训练模型在UCR的前10个数据集中评估模型在其他9个目标域的下游分类任务上的性能。
CBF的平均结果为0.864CinCECGTorso为0.895无转移的情景为0.912。更多的迁移学习结果见附录。
4.2 消融实验
在UEA的30个数据集上比较完整的TimesURL及其五个变体
1)w/o频率混合
2)w/o实例Universum,
3)w/o时间Universum,
4)w/o double Universum
5)w/o时间重建 5 总结
目前应该只是第一版实验部分只有六个下游任务和小部分消融实验没有附录详细实验结果 总体框架应该是基于 ts2vec 改进的既可以做单变量也可以做多变量的数据不同下游任务不共享预训练网络参数
