科研動(dòng)態(tài)
基于振動(dòng)信號(hào)Transformer神經(jīng)網(wǎng)絡(luò)的智能化滾動(dòng)軸承故障診斷
中文題目：基于振動(dòng)信號(hào)Transformer神經(jīng)網(wǎng)絡(luò)的智能化滾動(dòng)軸承故障診斷
論文題目：Intelligent Rolling Bearing Fault Diagnosis Based on Vibration Signal Transformer Neural Network
錄用期刊/會(huì)議：CPCC 2024 (CAA-A類(lèi) 會(huì)議論文)
作者列表：
1）李 爽 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 控制理論與控制工程專(zhuān)業(yè) 碩 22
2）李 強(qiáng) 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 控制理論與控制工程專(zhuān)業(yè) 博 22
3）李 康 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系教師
4）高小永 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系教師
摘要:
本文提出了一種新的滾動(dòng)軸承故障診斷方法——振動(dòng)信號(hào)Transformer神經(jīng)網(wǎng)絡(luò)(VSTNN)，該方法繼承了Transformer編碼器的多頭注意力機(jī)制和殘差連接的優(yōu)點(diǎn)，在特征空間中聚合不同時(shí)間序列的振動(dòng)信息，從而提高了長(zhǎng)期依賴(lài)建模的性能。在此基礎(chǔ)上開(kāi)發(fā)了一種新的振動(dòng)信號(hào)標(biāo)記化策略，該策略通過(guò)結(jié)合從一維振動(dòng)數(shù)據(jù)、類(lèi)標(biāo)記和位置嵌入中學(xué)習(xí)到的多個(gè)子序列特征來(lái)生成標(biāo)記嵌入序列。此外，由于軸承故障診斷是一個(gè)僅以故障類(lèi)別作為輸出的序列到類(lèi)別問(wèn)題，所以VSTNN采用全連接神經(jīng)網(wǎng)絡(luò)替代傳統(tǒng)Transformer解碼器作為故障分類(lèi)器，提高了計(jì)算效率，降低了內(nèi)存使用，使模型更適應(yīng)滾動(dòng)軸承故障診斷。
背景與動(dòng)機(jī):
滾動(dòng)軸承是大多數(shù)電氣和動(dòng)力驅(qū)動(dòng)器中最重要的部件之一。準(zhǔn)確診斷軸承故障對(duì)于保持電氣和動(dòng)力傳動(dòng)的安全平穩(wěn)運(yùn)行至關(guān)重要。在過(guò)去的幾年中，基于深度學(xué)習(xí)的技術(shù)在軸承故障診斷中獲得了廣泛的應(yīng)用，由于其優(yōu)越的特征提取能力在該領(lǐng)域取得了優(yōu)異的表現(xiàn)。然而，當(dāng)涉及到提取長(zhǎng)期依賴(lài)的特征時(shí)，大多數(shù)方法是低效的。
設(shè)計(jì)與實(shí)現(xiàn):
（1）振動(dòng)信號(hào)標(biāo)記
首先將輸入振動(dòng)數(shù)據(jù)分割成多個(gè)子序列，使用線(xiàn)性投影層將子序列映射到高維嵌入空間。然后，引入了一個(gè)可學(xué)習(xí)的類(lèi)令牌，與子序列向量組合產(chǎn)生一個(gè)無(wú)序令牌嵌入序列。由于故障發(fā)生后，振動(dòng)信號(hào)總是發(fā)生變化，因此開(kāi)發(fā)了批量重復(fù)的位置嵌入，將位置嵌入序列與無(wú)序令牌嵌入序列求和生成令牌嵌入序列。
（2）Transformer層
由N個(gè)相同的基本模塊堆疊而成，每個(gè)基本模塊由多頭注意力機(jī)制和前饋網(wǎng)絡(luò)組成，同時(shí)使用了殘差連接和層歸一化作為基本模塊的輸出。
（3）故障分類(lèi)器
故障分類(lèi)器將Transformer層提取的長(zhǎng)時(shí)特征轉(zhuǎn)換為獨(dú)熱碼進(jìn)行故障診斷。其結(jié)構(gòu)由一個(gè)全連接神經(jīng)網(wǎng)絡(luò)和一個(gè)Softmax層組成。
圖1 VSTNN模型的結(jié)構(gòu)
主要內(nèi)容:
注意力機(jī)制通過(guò)為不同的時(shí)間序列片段分配可學(xué)習(xí)權(quán)重，使標(biāo)記嵌入序列中的每個(gè)標(biāo)記都傾向于從其他標(biāo)記中獲取信息，從而更有效地獲取長(zhǎng)期依賴(lài)關(guān)系。在利用多頭自注意力機(jī)制提取特征后，采用前饋網(wǎng)絡(luò)學(xué)習(xí)更復(fù)雜的映射。該網(wǎng)絡(luò)由兩個(gè)線(xiàn)性變換和一個(gè)非線(xiàn)性激活函數(shù)組成。為了提高網(wǎng)絡(luò)的收斂性，采用高斯誤差線(xiàn)性單元激活函數(shù)代替ReLU激活函數(shù)。此外，在多頭自注意力層和前饋網(wǎng)絡(luò)的輸出中同時(shí)使用了殘差連接和層歸一化。簡(jiǎn)而言之，由N個(gè)堆疊的Transformer層可以成功地將輸入振動(dòng)信號(hào)轉(zhuǎn)換為用于識(shí)別最終故障類(lèi)別的長(zhǎng)期特征。
實(shí)驗(yàn)結(jié)果及分析:
本文采用凱斯西儲(chǔ)大學(xué)公共軸承數(shù)據(jù)集來(lái)驗(yàn)證所提出的VSTNN在軸承故障診斷中的有效性和優(yōu)越性。以12 kHz的采樣率采集電機(jī)驅(qū)動(dòng)端在四種不同工況下的振動(dòng)信號(hào)。四種不同方法在四種不同工況數(shù)據(jù)集下的平均診斷準(zhǔn)確率如表1所示。很明顯，所提出的VSTNN在診斷準(zhǔn)確性方面在統(tǒng)計(jì)上優(yōu)于其他方法，證明了其優(yōu)越性。此外，可以觀(guān)察到，與之前的方法相比，所提出的VSTNN獲得了最小的方差，這表明了它的穩(wěn)定性。
表1 不同工況數(shù)據(jù)集下VSTNN與其他方法的比較結(jié)果(%)
為了進(jìn)一步評(píng)價(jià)VSTNN的故障診斷結(jié)果，圖2給出了4個(gè)數(shù)據(jù)集上最佳情況下VSTNN故障診斷結(jié)果的混淆矩陣。行顯示樣本的實(shí)際故障類(lèi)別，列表示VSTNN預(yù)測(cè)的軸承故障類(lèi)別。從結(jié)果可以看出，大部分誤分類(lèi)類(lèi)別集中在“BF”故障類(lèi)別上，這表明該故障類(lèi)別是軸承故障診斷的一個(gè)挑戰(zhàn)。
圖2 VSTNN模型在不同數(shù)據(jù)集下的混淆矩陣
四種不同工況數(shù)據(jù)集的VSTNN的t-SNE特征可視化如圖3所示。研究結(jié)果表明，不同類(lèi)型的特征向量具有良好的類(lèi)內(nèi)緊密性和類(lèi)間可分離性。
圖3 VSTNN模型在不同數(shù)據(jù)集下的t-SNE特征可視化
結(jié)論:
本文提出了一種新的基于Transformer神經(jīng)網(wǎng)絡(luò)的滾動(dòng)軸承故障診斷方法——VSTNN，該方法無(wú)需額外的信號(hào)處理即可實(shí)現(xiàn)對(duì)滾動(dòng)軸承的一維振動(dòng)信號(hào)進(jìn)行分析。在VSTNN中，采用一種新的振動(dòng)信號(hào)標(biāo)記策略從一維振動(dòng)信號(hào)中提取嵌入序列。特征之間的長(zhǎng)期依賴(lài)關(guān)系可以通過(guò)具有多頭注意力機(jī)制和殘差連接的Transformer體系結(jié)構(gòu)來(lái)學(xué)習(xí)。此外，VSTNN繞過(guò)了解碼器模塊并直接連接到故障分類(lèi)器，以提高模型的復(fù)雜性。通過(guò)一個(gè)公共CWRU基準(zhǔn)測(cè)試數(shù)據(jù)，驗(yàn)證了該方法的有效性。
通訊作者簡(jiǎn)介:
李康，師資博士后，博士，中國(guó)石油大學(xué)（北京）人工智能學(xué)院自動(dòng)化系教師，主要研究方向?yàn)楣收显\斷與容錯(cuò)控制。