科研動(dòng)態(tài)
基于類(lèi)內(nèi)類(lèi)間優(yōu)化元學(xué)習(xí)的小樣本故障診斷
中文題目：基于類(lèi)內(nèi)類(lèi)間優(yōu)化元學(xué)習(xí)的小樣本故障診斷
論文題目：Meta-Learning With Intraclass and Interclass Optimization for Few-Shot Fault Diagnosis
錄用期刊/會(huì)議：IEEE Transactions on Industrial Informatics (中科院大類(lèi)1區(qū)，CAA A+類(lèi)期刊)
原文DOI：10.1109/TII.2024.3458091
原文鏈接：https://ieeexplore.ieee.org/abstract/document/10704056
錄用/見(jiàn)刊時(shí)間：2024年
作者列表：
1）李 康 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系教師
2）葉 昊 清華大學(xué) 信息科學(xué)技術(shù)學(xué)院 自動(dòng)化系教師
3）高小永 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系教師
4）張來(lái)斌 中國(guó)石油大學(xué)（北京）安全與海洋工程學(xué)院 安全工程系教師
摘要:
本文提出了一種類(lèi)內(nèi)類(lèi)間優(yōu)化元學(xué)習(xí)（Meta-Learning with Intraclass and Interclass Optimization）方法，旨在解決小樣本工業(yè)系統(tǒng)故障診斷問(wèn)題。所提MLIIO通過(guò)設(shè)計(jì)類(lèi)內(nèi)聚集損失(IAL)和類(lèi)間判別損失 (IDL)，優(yōu)化了特征空間中同類(lèi)樣本的緊湊性和異類(lèi)樣本的分離度。IAL通過(guò)拉近樣本與其類(lèi)別中心的距離來(lái)增強(qiáng)類(lèi)內(nèi)緊湊性，而IDL則通過(guò)最大化不同類(lèi)別間的距離來(lái)提升類(lèi)間可分性。該方法采用情景訓(xùn)練機(jī)制，通過(guò)多個(gè)輔助任務(wù)來(lái)訓(xùn)練模型，使其能夠快速適應(yīng)新任務(wù)。在公開(kāi)的滾動(dòng)軸承數(shù)據(jù)集和實(shí)際的鐵路轉(zhuǎn)轍機(jī)數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明，MLIIO在小樣本故障診斷任務(wù)上優(yōu)于多種代表性方法，具有更好的泛化能力和診斷性能。這項(xiàng)研究為工業(yè)設(shè)備的安全和可靠運(yùn)行提供了一種有效的智能診斷工具。
背景與動(dòng)機(jī):
隨著工業(yè)自動(dòng)化和信息化的快速發(fā)展，故障診斷技術(shù)對(duì)于保障工業(yè)系統(tǒng)安全、可靠運(yùn)行至關(guān)重要。然而，在實(shí)際工業(yè)應(yīng)用中，由于故障發(fā)生的低頻性和采集難度，收集到的故障數(shù)據(jù)往往十分有限，這限制了傳統(tǒng)數(shù)據(jù)驅(qū)動(dòng)方法的應(yīng)用。針對(duì)這一挑戰(zhàn)，本文提出了一種類(lèi)內(nèi)類(lèi)間優(yōu)化元學(xué)習(xí)方法，旨在利用有限的故障數(shù)據(jù)訓(xùn)練出有效的故障分類(lèi)器。MLIIO通過(guò)優(yōu)化類(lèi)內(nèi)聚集損失和類(lèi)間判別損失，增強(qiáng)了特征空間中同類(lèi)樣本的緊湊性和異類(lèi)樣本的分離度，從而提升了模型的泛化能力。這種方法不僅能夠應(yīng)對(duì)數(shù)據(jù)稀缺的問(wèn)題，還能適應(yīng)新的故障場(chǎng)景，對(duì)于提高工業(yè)系統(tǒng)的智能化水平具有重要意義。
設(shè)計(jì)與實(shí)現(xiàn):
本文提出MLIIO方法通過(guò)結(jié)合類(lèi)內(nèi)聚集損失（IAL）和類(lèi)間判別損失（IDL）來(lái)優(yōu)化模型的特征學(xué)習(xí)過(guò)程。IAL負(fù)責(zé)拉近同一類(lèi)別內(nèi)樣本特征與類(lèi)別中心的距離，以增強(qiáng)類(lèi)內(nèi)的緊湊性，而IDL則通過(guò)最大化不同類(lèi)別間的距離來(lái)提升類(lèi)間的可分性。MLIIO采用了情景訓(xùn)練機(jī)制，每個(gè)episode由支撐集和查詢(xún)集組成，其中支撐集用于生成類(lèi)別原型，查詢(xún)集用于評(píng)估模型性能。在每個(gè)episode中，模型通過(guò)最小化綜合損失函數(shù)來(lái)更新參數(shù)，該損失函數(shù)是IAL和IDL的加權(quán)和，其中權(quán)重系數(shù)λ用于平衡兩個(gè)損失函數(shù)的貢獻(xiàn)。這種方法使得模型能夠在有限的樣本下快速適應(yīng)新任務(wù)，提升了模型對(duì)新故障場(chǎng)景的識(shí)別能力。在實(shí)驗(yàn)部分，選擇了公開(kāi)的滾動(dòng)軸承數(shù)據(jù)集和實(shí)際的鐵路轉(zhuǎn)轍機(jī)數(shù)據(jù)集來(lái)驗(yàn)證MLIIO方法的有效性，并通過(guò)與多種代表性方法比較，證明了MLIIO在小樣本故障診斷任務(wù)上具有優(yōu)越的性能。該方法不僅有助于解決實(shí)際工業(yè)應(yīng)用中的樣本稀缺問(wèn)題，也提高了故障診斷的準(zhǔn)確性和魯棒性。
圖1 小樣本故障診斷典型優(yōu)化場(chǎng)景
如上圖所示，上圖a中，錨點(diǎn)樣本與其對(duì)應(yīng)的正樣本之間的距離比最近的負(fù)樣本之間的距離更近，這種情況是容易處理的情況。但是在圖b中，盡管與正樣本之間的距離更近，但是距離卻很遠(yuǎn)這種情況下，模型可能難以準(zhǔn)確學(xué)習(xí)到類(lèi)別之間的區(qū)分邊界，因?yàn)殄^點(diǎn)樣本的特征表示可能不如其類(lèi)別原型那樣具有代表性。因此，本文提出MILO方法，結(jié)合IAL和IDL兩個(gè)關(guān)鍵損失函數(shù)優(yōu)化模型的訓(xùn)練過(guò)程，最終學(xué)習(xí)到一個(gè)具有更好泛化性的模型。
主要內(nèi)容:
一、類(lèi)間判別損失（Interclass Discriminative Loss）
類(lèi)間判別損失旨在使得每個(gè)類(lèi)別內(nèi)部的樣本特征盡可能靠近該類(lèi)別的原型，同時(shí)確保不同類(lèi)別的原型之間的距離足夠大，以此來(lái)提高模型在特征空間中的分類(lèi)能力。
上方類(lèi)間判別損失的計(jì)算方法是將錨點(diǎn)樣本的特征表示到類(lèi)別原型的距離減去最小類(lèi)間距離，并加上一個(gè)強(qiáng)迫的邊界。
然后對(duì)每個(gè)類(lèi)的損失函數(shù)求和得到總類(lèi)間判別損失，通過(guò)最小化總類(lèi)間判別損失，使得模型在樣本有限的情況下，也能學(xué)習(xí)到具有較好區(qū)分度的特征表示。
二、類(lèi)內(nèi)聚集損失（Intraclass Aggregation Loss）
類(lèi)內(nèi)聚集損失旨在提高同一類(lèi)別樣本特征的聚合，使得同一類(lèi)別的樣本在特征空間中更加緊湊，減少樣本特征與其對(duì)應(yīng)類(lèi)別原型之間的距離，從而增強(qiáng)同一類(lèi)別內(nèi)樣本的相似性。
上方類(lèi)內(nèi)聚集損失的計(jì)算方法是對(duì)查詢(xún)集中每個(gè)樣本的特征表示與其原型之間的距離求平均，此平均值反映了類(lèi)內(nèi)樣本特征與其原型之間的緊密程度。
然后對(duì)每個(gè)類(lèi)的損失函數(shù)求和得到總類(lèi)內(nèi)聚集損失，通過(guò)最小化總類(lèi)內(nèi)聚集損失將有助于將同一類(lèi)別的樣本特征拉向它們的中心原型，在特征空間中形成更加緊湊的類(lèi)別簇。最終提高模型泛化能力。
三、基于MLIIO的小樣本故障診斷流程
在訓(xùn)練階段，根據(jù)總損失函數(shù)采用情景訓(xùn)練方式學(xué)習(xí)MLIIO模型。
在測(cè)試階段，利用新類(lèi)故障樣本的支撐集對(duì)模型進(jìn)行微調(diào)，然后測(cè)試詢(xún)問(wèn)集樣本的故障類(lèi)型。
實(shí)驗(yàn)結(jié)果及分析:
一、CWRU數(shù)據(jù)集
為驗(yàn)證所提方法的有效性，在公開(kāi)CWRU軸承數(shù)據(jù)集上對(duì)比了多種代表性方法（MAML、RN、PN、CLPN和MLCTL），結(jié)果表明所提出的元學(xué)習(xí)方法在小樣本故障診斷的平均診斷精度方面更加出色。在3-way 5-shot設(shè)置下，所有方法的平均診斷準(zhǔn)確率超過(guò)了90%，這表明即使在樣本數(shù)量有限的情況下，MLIIO方法也能學(xué)習(xí)到有效的特征表示。在其他設(shè)置下，平均準(zhǔn)確率也大多在80%到90%之間，顯示了該方法在少樣本學(xué)習(xí)問(wèn)題上的魯棒性。
表1 不同方法采用不同設(shè)置時(shí)的故障診斷對(duì)比結(jié)果
從表2中可以看出，MLIIO方法在變工況場(chǎng)景下都能保持較高的診斷準(zhǔn)確率，表明該方法具有良好的泛化能力。
表2 變工況場(chǎng)景下不同方法采用不同設(shè)置時(shí)的故障診斷對(duì)比結(jié)果
此外，圖2給出了 t-SNE特征可視化結(jié)果，表明MLIIO方法具有更好的特征判別能力，也驗(yàn)證了類(lèi)內(nèi)聚集損失和類(lèi)間判別損失的有效性。
圖2 不同方法所學(xué)特征的t-SNE可視化效果. (a) MAML. (b) RN. (c) PN. (d) CLPN. (e) MLCTL.(f) MLIIO.
二、高鐵道岔轉(zhuǎn)轍機(jī)數(shù)據(jù)集
高鐵道岔轉(zhuǎn)轍機(jī)電流數(shù)據(jù)集記錄了108 S700K型道岔轉(zhuǎn)換設(shè)備的三相電流數(shù)據(jù)，每個(gè)樣本由三相電流數(shù)據(jù)組成，每個(gè)相位包含120-150個(gè)采樣點(diǎn)，采樣頻率為25 Hz，為了確保輸入樣本具有統(tǒng)一的維度，較短的曲線(xiàn)被零填充至200個(gè)采樣點(diǎn)，三相電流數(shù)據(jù)被連接起來(lái)形成一個(gè)600維的輸入樣本。類(lèi)似地，我們對(duì)比了所提MLIIO方法與5種代表性方法的故障診斷表現(xiàn)。如表3所示，相較于代表性方法，MLIIO方法的平均故障診斷準(zhǔn)確率更高，性能更優(yōu)。
表3 不同方法采用不同設(shè)置時(shí)的故障診斷對(duì)比結(jié)果
結(jié)論:
本論文提出了一種類(lèi)內(nèi)類(lèi)間優(yōu)化元學(xué)習(xí)方法，旨在解決實(shí)際工業(yè)應(yīng)用中因數(shù)據(jù)稀缺而導(dǎo)致的故障診斷難題。通過(guò)在類(lèi)內(nèi)聚集損失和類(lèi)間判別損失的聯(lián)合優(yōu)化下，所提方法能夠有效地學(xué)習(xí)區(qū)分不同故障類(lèi)別的特征表示，即便在樣本數(shù)量有限的情況下也表現(xiàn)出色。在CWRU軸承數(shù)據(jù)集和高速鐵路道岔數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，MLIIO方法在多種少樣本故障診斷場(chǎng)景下均優(yōu)于代表性方法，這些結(jié)果不僅證明了MLIIO在不同工作條件下的泛化能力，也展示了其在跨場(chǎng)景故障診斷中的穩(wěn)定性和可靠性。此外，通過(guò)t-SNE特征可視化和混淆矩陣分析，進(jìn)一步驗(yàn)證了MLIIO在提高故障診斷準(zhǔn)確性和區(qū)分容易混淆故障類(lèi)型方面的優(yōu)勢(shì)。
MLIIO方法為少樣本故障診斷領(lǐng)域提供了一種有效的解決方案，尤其適用于工業(yè)場(chǎng)景中數(shù)據(jù)難以獲取的情況。未來(lái)的工作將集中在設(shè)計(jì)更精細(xì)的機(jī)制來(lái)處理難以診斷的故障類(lèi)型，并嘗試將過(guò)程機(jī)制知識(shí)融入模型訓(xùn)練中，以減少對(duì)大量高質(zhì)量支撐集的依賴(lài)，進(jìn)一步提升模型的診斷性能。這項(xiàng)研究不僅推動(dòng)了故障診斷技術(shù)的發(fā)展，也為工業(yè)智能化和預(yù)測(cè)性維護(hù)提供了有力的技術(shù)支持。
作者簡(jiǎn)介:
李康，師資博士后，博士，中國(guó)石油大學(xué)（北京）人工智能學(xué)院自動(dòng)化系教師，主要研究方向?yàn)楣收显\斷與容錯(cuò)控制。