科研動(dòng)態(tài)
時(shí)間注意力進(jìn)化圖卷積網(wǎng)絡(luò)
中文題目：時(shí)間注意力進(jìn)化圖卷積網(wǎng)絡(luò)
論文題目：Temporal Attention Evolutional Graph Convolutional Network
錄用會(huì)議：2023 IEEE International Conference on Technology Management, Operations and Decisions (EI)
作者列表：
1）趙新龍 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)系 本科19
2）張麗英 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 軟件工程系
3）張 巖 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 軟件工程系
文章簡(jiǎn)介:
時(shí)間注意力進(jìn)化圖卷積網(wǎng)絡(luò)（TAEGCN）模型結(jié)合了因果時(shí)間卷積和多頭自注意力機(jī)制，有效地學(xué)習(xí)節(jié)點(diǎn)的時(shí)間特征，并利用這些時(shí)間特征來(lái)構(gòu)建圖結(jié)構(gòu)，能夠準(zhǔn)確地捕捉數(shù)據(jù)中隱藏的空間依賴(lài)性和時(shí)間因果關(guān)系，實(shí)現(xiàn)多元時(shí)間序列更優(yōu)預(yù)測(cè)。在兩個(gè)公共數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果顯示，TAEGCN在其在多元時(shí)間序列預(yù)測(cè)領(lǐng)域的應(yīng)用潛力和優(yōu)越性能。
多元時(shí)間序列預(yù)測(cè)通過(guò)歷史數(shù)據(jù)預(yù)測(cè)未來(lái)狀態(tài)來(lái)輔助決策。每個(gè)數(shù)據(jù)節(jié)點(diǎn)為多維度的序列且不同節(jié)點(diǎn)的數(shù)據(jù)之間相互影響，可表示為圖結(jié)構(gòu)?，F(xiàn)有方法假設(shè)圖結(jié)構(gòu)是靜態(tài)的，但現(xiàn)實(shí)中許多圖結(jié)構(gòu)是動(dòng)態(tài)的。為此提出了TAEGCN模型，結(jié)合因果時(shí)間卷積和多頭自注意力機(jī)制來(lái)學(xué)習(xí)節(jié)點(diǎn)的時(shí)間特征和圖結(jié)構(gòu)，更好捕獲數(shù)據(jù)中隱藏的空間依賴(lài)性和時(shí)間因果關(guān)系，實(shí)現(xiàn)高性能的端到端預(yù)測(cè)。在兩個(gè)公共數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明了該模型的優(yōu)越性能。
背景與動(dòng)機(jī):
多元時(shí)間序列預(yù)測(cè)是通過(guò)歷史數(shù)據(jù)來(lái)預(yù)測(cè)觀(guān)測(cè)點(diǎn)未來(lái)的趨勢(shì)變化，輔助決策的制定，因此建立高效且精準(zhǔn)的多元時(shí)間序列預(yù)測(cè)模型一直是重要研究課題之一。
實(shí)際問(wèn)題場(chǎng)景中不同觀(guān)測(cè)點(diǎn)之間并不是孤立存在的，它們之間存在著空間結(jié)構(gòu)關(guān)系且相互影響，作用于觀(guān)測(cè)點(diǎn)的多變量的趨勢(shì)變化，且通過(guò)空間結(jié)構(gòu)的相互影響會(huì)隨著時(shí)間而動(dòng)態(tài)發(fā)生變化。為解決時(shí)間特征輸入輸出長(zhǎng)度的一致性問(wèn)題，和節(jié)點(diǎn)間的圖結(jié)構(gòu)隨時(shí)間變化的問(wèn)題，本文構(gòu)建了一種新的捕獲數(shù)據(jù)中隱藏的空間依賴(lài)性和時(shí)間因果關(guān)系的TAEGCN模型。
TAEGCN模型由若干個(gè)時(shí)空層，一個(gè)輸出層和一個(gè)全連接層構(gòu)成，每個(gè)時(shí)空層包括因果時(shí)間多頭自注意力模塊CTMSA，可進(jìn)化圖學(xué)習(xí)器EGL和圖卷積神經(jīng)網(wǎng)絡(luò)GCN, 如圖1所示。
圖1 TAEGCN架構(gòu)圖
CTMSA模塊是基于多頭自注意力機(jī)制提出的膨脹時(shí)間卷積模型，如圖2所示。它由兩個(gè)殘差神經(jīng)網(wǎng)絡(luò)構(gòu)成，并結(jié)合多頭自注意力機(jī)制和LayerNorm歸一化方法。保證多步預(yù)測(cè)的同時(shí)兼顧長(zhǎng)短步長(zhǎng)的時(shí)間特征和有序獲得時(shí)間特征。
圖2 CTMSA模型
EGL是一種進(jìn)化的圖結(jié)構(gòu)學(xué)習(xí)器，如圖3所示。它以遞歸方式構(gòu)造一系列鄰接矩陣，提取變量之間的動(dòng)態(tài)相關(guān)性，實(shí)現(xiàn)更精確地捕獲數(shù)據(jù)中隱藏的空間依賴(lài)確立更準(zhǔn)確的圖結(jié)構(gòu)。
圖3 EGL結(jié)構(gòu)圖
TAEGCN創(chuàng)造性地結(jié)合了時(shí)間維度和空間維度的特征，通過(guò)CTMSA和EGL模塊，有效提取時(shí)間維度和空間維度的特征。
選用兩個(gè)公共數(shù)據(jù)集進(jìn)行試驗(yàn)，基準(zhǔn)模型選取了五個(gè)模型，實(shí)驗(yàn)結(jié)果如表1所示。
表1 性能對(duì)比表
為進(jìn)一步測(cè)試TAEGCN的預(yù)測(cè)性能，從METR-LA數(shù)據(jù)集的207個(gè)監(jiān)測(cè)點(diǎn)中隨機(jī)抽樣選擇了四個(gè)在Graph-WaveNet和TAEGCN的預(yù)測(cè)結(jié)果與真實(shí)值之間的比較，將時(shí)間序列預(yù)測(cè)值可視化。圖4（a）是Graph-WaveNet的時(shí)間序列預(yù)測(cè)結(jié)果，圖5（b）是TAEGCN的結(jié)果。
圖4 Graph-WaveNet和TAEGCN的預(yù)測(cè)結(jié)果對(duì)比圖
為了驗(yàn)證關(guān)鍵部件的有效性，對(duì)METR-LA數(shù)據(jù)集的預(yù)測(cè)在30分鐘和60分鐘時(shí)間長(zhǎng)度上進(jìn)行了消融研究。實(shí)驗(yàn)結(jié)果如表2所示。
表2 消融實(shí)驗(yàn)結(jié)果表
論文提出了一種新的多元時(shí)間序列預(yù)測(cè)模型TAEGCN，其中的可進(jìn)化圖學(xué)習(xí)器（EGL）能根據(jù)該時(shí)間段的節(jié)點(diǎn)依賴(lài)關(guān)系來(lái)學(xué)習(xí)不同時(shí)間段的圖結(jié)構(gòu)，TMSA學(xué)習(xí)不同元的時(shí)間序列特征。對(duì)真實(shí)世界數(shù)據(jù)集的實(shí)驗(yàn)證明了 TAEGCN 相對(duì)于基線(xiàn)模型的優(yōu)越性。消融實(shí)驗(yàn)則進(jìn)一步證明了模型各部分對(duì)預(yù)測(cè)性能的貢獻(xiàn)。
張麗英，講師，中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院碩士導(dǎo)師。主要研究方向：機(jī)器學(xué)習(xí)、時(shí)空數(shù)據(jù)挖掘。主持并參與國(guó)家自然基金、校級(jí)基金和校外開(kāi)放基金、中石油勘探開(kāi)發(fā)課題10多項(xiàng)。發(fā)表論文7余篇，其中被SCI、EI檢索4篇。教學(xué)工作主持教育部產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目、校級(jí)核心課程/重點(diǎn)教改項(xiàng)目等10多項(xiàng)，出版教材兩部。
聯(lián)系方式：[email protected]