科研動(dòng)態(tài)
多變量時(shí)序標(biāo)記Transformer及其在電潛泵故障診斷中的應(yīng)用
中文題目：多變量時(shí)序標(biāo)記Transformer及其在電潛泵故障診斷中的應(yīng)用
論文題目：多變量時(shí)序標(biāo)記Transformer及其在電潛泵故障診斷中的應(yīng)用
錄用期刊/會(huì)議：控制與決策 (國(guó)內(nèi)EI中文期刊論文)
原文DOI：10.13195/j.kzyjc.2024.0266
原文鏈接：http://kzyjc.alljournals.cn/kzyjc/article/abstract/2024-0266
錄用/見(jiàn)刊時(shí)間：2024年
作者列表：
1）李 康 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系教師
2）李 爽 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 碩士生
3）高小永 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系教師
4）李 強(qiáng) 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 碩士生
5）張來(lái)斌 中國(guó)石油大學(xué)（北京）安全與海洋工程學(xué)院 安全工程系教師
摘要:
電潛泵故障診斷對(duì)于確保安全可靠采油至關(guān)重要，但電潛泵數(shù)據(jù)呈現(xiàn)出的多變量、非線(xiàn)性和動(dòng)態(tài)變化等復(fù)雜特性為該任務(wù)帶來(lái)了嚴(yán)峻挑戰(zhàn)。近年來(lái)，深度學(xué)習(xí)在復(fù)雜數(shù)據(jù)特征提取方面表現(xiàn)出的強(qiáng)大能力催生了一系列基于神經(jīng)網(wǎng)絡(luò)的電潛泵故障診斷方法。然而，多數(shù)方法忽略了電潛泵數(shù)據(jù)的動(dòng)態(tài)特性及長(zhǎng)時(shí)依賴(lài)特征提取困難的問(wèn)題。針對(duì)上述問(wèn)題，提出一種多變量時(shí)序標(biāo)記 Transformer 神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)電潛泵故障診斷。該模型設(shè)計(jì)了新的多變量時(shí)間序列標(biāo)記策略，繼承了引入多頭注意力機(jī)制和殘差連接的傳統(tǒng) Transformer 神經(jīng)網(wǎng)絡(luò)編碼器在長(zhǎng)時(shí)依賴(lài)特征提取方面的優(yōu)勢(shì)，用前向神經(jīng)網(wǎng)絡(luò)替代了傳統(tǒng) Transformer 神經(jīng)網(wǎng)絡(luò)解碼器以簡(jiǎn)化模型復(fù)雜度。通過(guò)對(duì)油田現(xiàn)場(chǎng)故障數(shù)據(jù)分析，驗(yàn)證了該方法的有效性。實(shí)驗(yàn)結(jié)果表明，所提方法實(shí)現(xiàn)了 10 類(lèi)電潛泵故障的精確診斷，相比流行的深度學(xué)習(xí)方法診斷性能更優(yōu)。
背景與動(dòng)機(jī):
電潛泵（Electric Submersible Pump, ESP）是一種重要的人工舉升采油設(shè)備，因其提液能力強(qiáng)、排量大、揚(yáng)程高，被廣泛應(yīng)用于海上油田、沙漠油田以及復(fù)雜井況的中后期油田的采油任務(wù)中。然而，由于其結(jié)構(gòu)復(fù)雜，組件繁多，長(zhǎng)期運(yùn)行在高溫、高壓、高雜質(zhì)、高腐蝕的惡劣環(huán)境下，故障發(fā)生頻率高且類(lèi)型多，比如沉積物和固體顆粒對(duì)泵造成磨損和堵塞，電纜的絕緣和防水出現(xiàn)問(wèn)題等。因此，及時(shí)準(zhǔn)確地診斷電潛泵故障對(duì)于保證采油系統(tǒng)安全穩(wěn)定運(yùn)行至關(guān)重要。
設(shè)計(jì)與實(shí)現(xiàn):
數(shù)據(jù)驅(qū)動(dòng)的電潛泵故障診斷本質(zhì)上是對(duì)多變量時(shí)間序列片段樣本進(jìn)行分類(lèi)識(shí)別的問(wèn)題。由于電潛泵故障數(shù)據(jù)是多變量時(shí)間序列片段樣本，具有多變量、非線(xiàn)性、動(dòng)態(tài)變化等特性，故障信息往往隱含在數(shù)據(jù)復(fù)雜交織的時(shí)間和變量維度中，如何從反映電潛泵運(yùn)行狀態(tài)的多變量時(shí)間序列信號(hào)中提取長(zhǎng)時(shí)依賴(lài)特征成為準(zhǔn)確診斷電潛泵故障的難點(diǎn)和關(guān)鍵。本文將針對(duì)這一挑戰(zhàn)問(wèn)題進(jìn)行探索，提出基于多變量時(shí)序標(biāo)記Transformer神經(jīng)網(wǎng)絡(luò)的電潛泵故障診斷方法。如圖1所示，方法主要包含三部分：多變量時(shí)間序列標(biāo)記，Transformer 特征提取及故障分類(lèi)。其中，多變量時(shí)間序列標(biāo)記模塊主要對(duì)輸入進(jìn)行預(yù)處理，兼顧數(shù)據(jù)的多變量、非線(xiàn)性和動(dòng)態(tài)變化等特性，將其合理地表示為標(biāo)記嵌入序列；Transformer 特征提取模塊從標(biāo)記嵌入序列中提取長(zhǎng)時(shí)依賴(lài)特征；故障分類(lèi)模塊則基于長(zhǎng)時(shí)依賴(lài)特征辨識(shí)故障類(lèi)型。
圖1 基于多變量時(shí)序標(biāo)記Transformer神經(jīng)網(wǎng)絡(luò)的電潛泵故障診斷方法框架
主要內(nèi)容:
一、多變量時(shí)間序列標(biāo)記
首先將 x 分成多個(gè)時(shí)間子序列，表示為：
然后利用一個(gè)線(xiàn)性投影層將子序列映射到高維嵌入空間，并引入可學(xué)習(xí)的類(lèi)別標(biāo)記，連接成標(biāo)記嵌入序列，表示為：
為考慮引入時(shí)間步信息，擬將位置嵌入與標(biāo)記嵌入相加生成標(biāo)記嵌入序列：
基于上述前向運(yùn)算，將得到作為后續(xù) Transformer編碼器輸入的標(biāo)記嵌入序列 Tseq。
二、Transformer特征提取
Transformer 特征提取層是整個(gè)算法的核心部分，該層通過(guò)棧式堆疊個(gè)獨(dú)立的基礎(chǔ)學(xué)習(xí)模塊實(shí)現(xiàn)。具體地，每個(gè)基礎(chǔ)學(xué)習(xí)模塊中包含了一個(gè)多頭注意力機(jī)制和一個(gè)前向網(wǎng)絡(luò)，殘差連接與層正規(guī)化也被用來(lái)改善模型精度和泛化能力。
圖2給出了多頭注意力機(jī)制的細(xì)節(jié)，將對(duì)每個(gè)不同的注意力頭進(jìn)行組合，并采用線(xiàn)性映射來(lái)得到多頭注意力值，公式化表示為：
圖2 多頭注意力機(jī)制
前向網(wǎng)絡(luò)用來(lái)將多頭注意力提取到的特征映射為更加抽象的特征。具體地，前向網(wǎng)絡(luò)包含兩個(gè)線(xiàn)性變換層和一個(gè)非線(xiàn)性激活層。為了改善網(wǎng)絡(luò)的收斂能力，采用高斯誤差線(xiàn)性單元（Gaussian error Linear Unit, GeLU）激活函數(shù)取代傳統(tǒng)的 ReLU 激活函數(shù)，具體表示為：
在Transformer層，殘差連接和層正規(guī)化被用在多頭注意力機(jī)制和前向網(wǎng)絡(luò)的輸出部分。具體地，可將多頭注意力機(jī)制模塊和前向網(wǎng)絡(luò)視作子層Sublayer，它們的輸出將表示為：
綜上，多變量時(shí)序標(biāo)記將通過(guò)棧式堆疊的Transformer層實(shí)現(xiàn)長(zhǎng)時(shí)依賴(lài)特征提取，最終用于故障分類(lèi)。
三、故障分類(lèi)
考慮到傳統(tǒng) Transformer 神經(jīng)網(wǎng)絡(luò)解碼器的輸出是對(duì)編碼器輸入的重構(gòu)，不適用于電潛泵故障診斷，而前向神經(jīng)網(wǎng)絡(luò)能夠更加簡(jiǎn)單、高效地實(shí)現(xiàn)電潛泵故障分類(lèi)，因此設(shè)計(jì)了基于前向神經(jīng)網(wǎng)絡(luò)的故障分類(lèi)器。它的結(jié)構(gòu)包含一個(gè)全連接層和一個(gè)softmax層，用于將由 Transformer 層提取的長(zhǎng)時(shí)依賴(lài)特征轉(zhuǎn)化為獨(dú)熱碼。
基于多變量時(shí)間序列所屬故障類(lèi)別的概率值，利用極大似然準(zhǔn)則即可實(shí)現(xiàn)故障類(lèi)別的診斷結(jié)果。
實(shí)驗(yàn)結(jié)果及分析:
不同算法在四種不同評(píng)價(jià)指標(biāo)上的對(duì)比結(jié)果呈現(xiàn)在表1中。從表1中可以看出 CNN和LSTM 的表現(xiàn)略差于 CNN-LSTM 的綜合表現(xiàn)，這表明在 CNN 特征提取的基礎(chǔ)上融合LSTM 時(shí)序依賴(lài)特征提取的效果更好。此外，兩種用于處理多變量時(shí)間序列分類(lèi)的 Transformer 變體方法 FormerTime 和Gated-Transformer 均呈現(xiàn)出優(yōu)于上述三種方法的表現(xiàn)，表明 Transformer 相比傳統(tǒng)深度學(xué)習(xí)方法（CNN和 LSTM 等）在長(zhǎng)時(shí)依賴(lài)特征提取方面更具優(yōu)勢(shì)。更重要的觀(guān)察是，所提方法的綜合表現(xiàn)優(yōu)于所有對(duì)比方法，表明所提方法中設(shè)計(jì)的多變量時(shí)序標(biāo)記策略更適于處理在電潛泵故障診斷任務(wù)。
表1 不同算法在四種評(píng)價(jià)指標(biāo)上的對(duì)比結(jié)果（%）
為更細(xì)致地分析不同方法的電潛泵故障診斷表現(xiàn)，在圖3中繪制了不同方法的混淆矩陣。其中，行表示樣本故障類(lèi)別的預(yù)測(cè)值，列表示樣本故障類(lèi)別的真實(shí)值。從圖中可以看出大多數(shù)診斷失敗的情況發(fā)生在管柱漏失 LP、產(chǎn)液低 LL 和電氣故障EF等幾種故障，表明這三種故障模式相對(duì)比較復(fù)雜，是較難診斷的故障。多變量時(shí)序標(biāo)記 Transformer 神經(jīng)網(wǎng)絡(luò)與其他方法相比在其余故障上的診斷表現(xiàn)更優(yōu)。此外，考慮到不同方法提取到的數(shù)據(jù)特征的分布是評(píng)估模型泛化表現(xiàn)的重要指標(biāo)，將不同方法提取到的特征進(jìn)行了可視化。具體地，采用 t 分布隨機(jī)近鄰嵌入（t-distributed Stochastic Neighbor Embedding, t-SNE）方法對(duì)特征進(jìn)行降維，并繪制在圖4中。從圖中可以看出，相比其他方法，多變量時(shí)序標(biāo)記Transformer 神經(jīng)網(wǎng)絡(luò)展現(xiàn)了更優(yōu)的類(lèi)內(nèi)緊湊性和類(lèi)間可分性，進(jìn)一步驗(yàn)證了所提方法的優(yōu)秀特征提取能力和泛化表現(xiàn)。
圖3 不同方法診斷結(jié)果的混淆矩陣
圖4 不同方法對(duì)應(yīng)特征的t-SNE可視化結(jié)果
結(jié)論:
本文提出了一種多變量時(shí)序標(biāo)記Transformer神經(jīng)網(wǎng)絡(luò)，并將其應(yīng)用于電潛泵故障診斷。區(qū)別于已有Transformer神經(jīng)網(wǎng)絡(luò)模型，多變量時(shí)序標(biāo)記Transformer神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了新的多變量時(shí)序標(biāo)記策略用于處理具有多變量、非線(xiàn)性、動(dòng)態(tài)變化等特性的電潛泵數(shù)據(jù)，沿用傳統(tǒng) Transformer神經(jīng)網(wǎng)絡(luò)引入多頭注意力和殘差連接機(jī)制，實(shí)現(xiàn)了更優(yōu)的長(zhǎng)時(shí)依賴(lài)特征提取效果，并用前向網(wǎng)絡(luò)取代了傳統(tǒng)Transformer 神經(jīng)網(wǎng)絡(luò)的解碼器實(shí)現(xiàn)了模型簡(jiǎn)化，使之更適于處理電潛泵故障診斷任務(wù)。最后在真實(shí)油田現(xiàn)場(chǎng)電潛泵故障數(shù)據(jù)上驗(yàn)證了所提方法的有效性和優(yōu)越性。
作者簡(jiǎn)介:
李康，師資博士后，博士，中國(guó)石油大學(xué)（北京）人工智能學(xué)院自動(dòng)化系教師，主要研究方向?yàn)楣收显\斷與容錯(cuò)控制。