七台河哈尔滨网站建设,专业做公司网站的机构,手机网站二级导航菜单,网站管理程序文章信息 文章题为“Spatio-Temporal Self-Supervised Learning for Traffic Flow Prediction”#xff0c;是一篇发表于The Thirty-Seventh AAAI Conference on Artificial Intelligence (AAAI-23)的一篇论文。该论文主要针对交通流预测任务#xff0c;结合自监督学习#… 文章信息 文章题为“Spatio-Temporal Self-Supervised Learning for Traffic Flow Prediction”是一篇发表于The Thirty-Seventh AAAI Conference on Artificial Intelligence (AAAI-23)的一篇论文。该论文主要针对交通流预测任务结合自监督学习衡量数据的时空异质性。 摘要 在智能交通系统中准确预测不同时间段的城市交通流量是至关重要的。现有的方法存在两个关键的局限性1、大多数模型集中预测所有区域的交通流量而没有考虑空间异质性即不同区域的交通流量分布可能存在偏差2、现有模型无法捕捉时变交通模式引起的时间异质性大多数现有模型通常是在所有时间段内与共享参数化空间进行时间相关性建模。为解决上述问题文章提出了一种新的时空自监督学习ST-SSL的预测框架该框架通过辅助的自监督学习范式增强了交通模式表征以反映时空异质性。具体而言该模型构建在一个集成模块上具有时间卷积和空间卷积。为实现自适应时空自监督学习ST-SSL在属性层面和结构层面对交通流量图数据进行自适应增强。在增强的流量图的基础上文章构建了两个基于自监督学习的辅助任务通过时空异构感知增强对主要流量预测任务进行补充。文章的主要贡献如下 该文章是第一个提出一种新的自监督学习框架来模拟交通流预测的时空异质性。所提出的预测框架可能会对其他实际的时空应用例如空气质量预测有所帮助。文章提出了一种基于图结构时空图的自适应异构感知数据增强方案以减弱噪声扰动对预测的影响。文章引入两个自监督学习任务来补充主要的交通预测任务通过增强模型识别能力和对交通时空异质性的认识。 基本概念 空间区域文章将网络划分为NI*J的网格表示区域。 交通流量图TFG交通流量图定义为其中V表示节点集合为边集合为邻接矩阵表示历史T个时间步交通网络内各个区域的流入量和流出量序列。 问题定义给定若干历史时间步的交通流量图文章所研究问题的目标是学习一个能够准确估计未来一个时间步内的所有区域的交通量的预测的函数。 模型框架 文章所提出的模型框架如下图中的图a所示。主要包括时空编码器ST Encoder、自适应图增广模块Adaptive Graph Augmentation。 时空编码器ST Encoder文章主要利用卷积神经网络构建时空编码器将时间卷积分量与图卷积传播网络相结合作为时空关系表示的主干。具体而言时间特征提取层由基于门控机制的一维因果卷积构成时间编码器沿时间维度进行卷积如下式所示。 其中表示第t个时间步交通网络的嵌入矩阵表示其中的第n行即与区域相关D表示嵌入维度。进一步空间特征提取层如下式所示。 文章的时空编码器采用“三明治”块结构构建即以TC→SC→TC的顺序对数据进行处理。随着时空编码器的处理时间维度最终变为0从而得到最终的预测结果。 自适应图增广模块Adaptive Graph Augmentation on TFG文章设计了两阶段的图增广方法即流量级数据增广和图拓扑级结构增广。首先文章给出了不同区域异质性的衡量方法。具体而言对于区域其嵌入序列的计算方式如下。 其中指权重不同时间步嵌入序列的聚合表示是可学习参数。该权重反映不同时间步与总流量规律的关系。基于上式文章通过比对两个不同区域对应总流量规律的差异从而反映不同区域的异质性。具体如下式所示该值越大则两个区域之间的相关性越强因此异质性越小。 基于上式文章提出流量级数据增广和图拓扑级结构增广。具体而言流量级数据增广旨在基于概率掩盖第个时间步中相关性较弱的流量其中服从二项分布其处理结果为。图拓扑级结构增广旨在对网络内所有区域进行分析包括两个步骤1、若两个区域的流量规律不是高度相关即异质性较大基于概率掩盖这两个区域之间的连接服从二项分布2、若两个区域之间的流量规律异质性较小则会依照服从二项分布的概率添加一条边。基于上述两阶段数据增广得到新的TFG如下所示。 基于自监督学习的空间异质性建模给定经过增广的TFG文章的目标是使区域嵌入在辅助自监督信号的情况下有效地保持空间异质性。为实现该目标文章在区域级别上设计了一个基于软聚类的自监督学习任务将区域映射到对应于不同城市区域功能的多个潜在表示空间。具体而言文章生成K个聚类嵌入。聚类过程如下式所示。 其中为D维向量表示区域的区域嵌入。基于上式区域的聚类指派如下。 为生成自监督学习的特征所设计的辅助任务旨在预测用于原始区域嵌入生成的区域指派。对于区域对应的自监督学习的损失计算方法如下所示。 对于所有区域而言其损失计算如下。 上述聚类方法存在两方面问题首先生成的聚类指派矩阵是由聚沉成绩所产生的每个区域的聚类指派求和可能不为1其次可能存在每个区域都有相同的分配。为解决上述我呢提文章提出区域聚类的分布正则化。具体而言文章采用最大熵原理即定义可行解所构成的集合如下。 对于每一个可行的聚类指派可以将嵌入矩阵映射为聚类矩阵。因此搜索可以通过最大化嵌入矩阵和聚类的相似度获得最优解如下式所示。 其中tr表示矩阵的迹表示熵函数计算公式如下。 基于自监督学习的时间异质性建模文章进一步设计了一个自监督学习任务通过强制时间步长特定的流量模式表示之间的差异将时间异质性注入到时间感知区域嵌入中。具体而言文章首先融合原始的TFG和增广后的TFG。 进一步将不同区域的特征聚合从而获得第t个时间步网络级表示计算方式如下。 为增强不同时间步表示的辨别能力文章将网络级表示和区域级表示作为嵌入对其中若区域级表示和网络级表示为同一个时间步则为正值反之则为负值。最后基于上述定义时间异质性建模的损失函数为交叉熵损失函数定义如下。 综上所述模型的整体损失函数定义如下 实验 文章在几个真实数据集上进行一系列实验以评估ST-SSL的性能。数据集包括纽约Bike数据集和Taxi数据集以及北京出租车数据集。这些实验旨在回答以下研究问题 问题1与各种基线相比ST-SSL的整体流量预测性能如何?问题2设计的不同子模块对模型性能的贡献是什么?问题3对于异构空间区域和不同时间段ST-SSL的性能如何问题4增广图和学习表征如何使模型受益? 问题1在不同数据集上的实验结果如下图所示。可以看到ST-SSL的预测误差最低。 进一步文章对所提出模型在不同区域的预测误差进行可视化并比对了不同基线模型的预测误差如下图所示。 问题2为验证所提出模型不同子模块的影响文章构建了四组模型的变体进行消融实验。具体而言ST-SSL-sa表示该模型用随机边缘去除和增加的方式取代了图拓扑上的异构引导结构增广ST-SSL-ta表示该模型使用随机交通量掩膜替换原有的基于异质性引导的流量增广ST-SSL-sh表示该模型不使用空间异质建模模块ST-SSL-th表示该模型不使用时间异质性建模模块。实验结果如下。 问题3为探究ST-SSL的鲁棒性文章在北京出租车数据集上对具有异构数据分布的空间区域和具有不同模式的时间段进行了流量预测。对于空间异质性而言文章利用历史交通数据的统计量例如均值、中位数、标准差将不同区域进行聚类。下图分别展示了不同区域的划分结果以及预测结果。 对于时间异质性而言文章将工作日分为四个时段将节假日分为2各时段。下图分别展示了划分方法和预测结果。 问题4文章通过定性分析的方法进行分析在北京出租车数据集上进行实验。结果如下图所示。文章所提出的方法自适应地去除了具有异构交通模式的相邻区域之间的连接。同时在城市潜在功能相似的遥远区域之间建立联系。通过这种方式ST-SSL不仅可以消除低相互关联交通模式的区域连接还可以捕获全球城市背景下的长期区域依赖关系 此外为了进一步探究ST-SSL中的嵌入是如何提升预测精度的文章对比了AGCRN和ST-SSL的预测结果通过T-SNE方法进行可视化如下图所示。 结论 文章提出一种新的时空自监督学习(ST-SSL)框架以解决交通预测问题。具体而言文章整合了时间和空间卷积来编码时空交通模式。进一步文章设计两个主要模块1、一个由自适应图增强和基于聚类的生成任务组成的空间自监督学习范式2、一个依赖于时间感知的对比任务的时间自监督学习范式以空间和时间异质性感知的自监督信号补充主要的交通流量预测任务。在4个交通流数据集上的综合实验证明了ST-SSL算法的鲁棒性。
