科研動(dòng)態(tài)
在線(xiàn)持續(xù)自適應(yīng)樣例相似性嵌入學(xué)習(xí)
中文題目：在線(xiàn)持續(xù)自適應(yīng)樣例相似性嵌入學(xué)習(xí)
論文題目：Adaptive Instance Similarity Embedding for Online Continual Learning
錄用期刊/會(huì)議：Pattern Recognition (JCR Q1-Top)
原文DOI：https://doi.org/10.1016/j.patcog.2023.110238
原文鏈接：
https://www.sciencedirect.com/science/article/pii/S0031320323009354
錄用/見(jiàn)刊時(shí)間：2024.01.01
作者列表：
1） 韓亞楠 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 控制科學(xué)與工程 博19
2） 劉建偉 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 自動(dòng)化系 教師
我們研究了在線(xiàn)持續(xù)學(xué)習(xí)（CL）范式，即學(xué)習(xí)者必須不斷學(xué)習(xí)一系列任務(wù)。在這種情況下，提高模型的學(xué)習(xí)能力和減輕災(zāi)難性遺忘是兩個(gè)關(guān)鍵因素。請(qǐng)注意，大多數(shù)現(xiàn)有的在線(xiàn)持續(xù)學(xué)習(xí)方法都是基于經(jīng)驗(yàn)h回放策略的。在這種類(lèi)型的方法中，應(yīng)用內(nèi)存緩沖區(qū)來(lái)存儲(chǔ)先前任務(wù)的子集，以防止災(zāi)難性遺忘。來(lái)自當(dāng)前任務(wù)和存儲(chǔ)器緩沖器之間的樣本被聯(lián)合訓(xùn)練以更新網(wǎng)絡(luò)參數(shù)?？紤]到大多數(shù)方法只通過(guò)共享特征提取器生成特征嵌入，然后通過(guò)交叉熵?fù)p失訓(xùn)練網(wǎng)絡(luò)。我們認(rèn)為，這種方法未能全面探索特征嵌入內(nèi)在機(jī)制，并忽略了樣本之間的相似關(guān)系，從而導(dǎo)致判別性能較低，尤其是在在線(xiàn)學(xué)習(xí)環(huán)境中。為此，我們提出了用于在線(xiàn)連續(xù)學(xué)習(xí)的自適應(yīng)樣例相似性嵌入（AISEOCL）框架，該框架進(jìn)一步考慮了給定批次中的所有樣例之間的關(guān)系。具體來(lái)說(shuō)，首先，使用經(jīng)驗(yàn)回放策略來(lái)避免災(zāi)難性遺忘。然后，在訓(xùn)練過(guò)程中，我們應(yīng)用自適應(yīng)相似嵌入，從由當(dāng)前任務(wù)和先前任務(wù)組成的當(dāng)前訓(xùn)練樣例中獲得額外的有價(jià)值的相似信息。由于并非所有樣例對(duì)預(yù)測(cè)都同等重要，因此我們通過(guò)注意力機(jī)制進(jìn)一步權(quán)衡每個(gè)樣例的重要性。重要的是，我們進(jìn)一步對(duì)當(dāng)前模型和先前模型之間的相似性關(guān)系的分布施加了相似性蒸餾損失。這樣的操作可以將不同樣例之間的相似性關(guān)系從舊模型轉(zhuǎn)移到當(dāng)前模型，以緩解災(zāi)難性遺忘。通過(guò)這種策略，AISEOCL可以進(jìn)一步提高模型的學(xué)習(xí)能力，同時(shí)增強(qiáng)判別能力，這也有利于穩(wěn)定地抵抗遺忘。在幾個(gè)現(xiàn)有基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了我們提出的方法的有效性。
為了能夠?qū)崿F(xiàn)在線(xiàn)持續(xù)學(xué)習(xí)，學(xué)習(xí)者應(yīng)該在能夠執(zhí)行先前任務(wù)的同時(shí)，從當(dāng)前任務(wù)中不斷獲得新知識(shí)。在線(xiàn)持續(xù)學(xué)習(xí)的最終目標(biāo)是最大化所有任務(wù)的性能。我們注意到，提高模型的學(xué)習(xí)能力和克服災(zāi)難性遺忘是在線(xiàn)持續(xù)學(xué)習(xí)環(huán)境中的兩個(gè)關(guān)鍵因素。有鑒于此，人們對(duì)持續(xù)學(xué)習(xí)越來(lái)越感興趣，近年來(lái)已經(jīng)提出了幾種方法。為了對(duì)抗遺忘，早期的工作試圖將額外的正則化項(xiàng)應(yīng)用于損失函數(shù)，在學(xué)習(xí)新任務(wù)時(shí)鞏固先驗(yàn)知識(shí)，如無(wú)遺忘學(xué)習(xí)（LwF）、彈性權(quán)重鞏固（EWC）。然而，正則化方法可能不足以約束優(yōu)化過(guò)程，特別是在在線(xiàn)設(shè)置或具有長(zhǎng)序列的情況下，這可能導(dǎo)致較差的全局性能。與正則化方法相比，為了消除災(zāi)難性遺忘，基于記憶的方法在情景記憶中保存了一些舊任務(wù)的樣本，這些樣本在學(xué)習(xí)新數(shù)據(jù)時(shí)會(huì)回放，最近的研究發(fā)現(xiàn)，這種方法表現(xiàn)出優(yōu)越的性能。因此，幾乎所有現(xiàn)有的在線(xiàn)持續(xù)學(xué)習(xí)方法都是基于經(jīng)驗(yàn)重放，或者簡(jiǎn)單地重放。此外，研究人員專(zhuān)注于提高模型的學(xué)習(xí)能力，如Chelsea等人。將元領(lǐng)導(dǎo)算法擴(kuò)展到在線(xiàn)持續(xù)學(xué)習(xí)設(shè)置中，從而進(jìn)一步加快和增強(qiáng)新任務(wù)的學(xué)習(xí)能力。基于交叉驗(yàn)證原理，Quang等人通過(guò)雙層優(yōu)化提高了模型的泛化能力。注意，大多數(shù)方法要么避免災(zāi)難性遺忘，要么注重提高學(xué)習(xí)能力。但是，大多數(shù)方法都是通過(guò)交叉熵?fù)p失來(lái)訓(xùn)練網(wǎng)絡(luò)的。由于這種損失只考慮了樣本的類(lèi)別標(biāo)簽，它們忽略了樣本之間的相似關(guān)系，導(dǎo)致判別性能較低，這不利于提高整體性能，尤其是在在線(xiàn)持續(xù)學(xué)習(xí)環(huán)境中。
設(shè)計(jì)與實(shí)現(xiàn):
提出的自適應(yīng)樣例相似性嵌入（AISEOCL）框架如下圖所示。
相似蒸餾損失過(guò)程圖解：
a) Task 1
b) Task 5
c) Task 10
d) Task 15
我們提出了一種新的在線(xiàn)持續(xù)學(xué)習(xí)范式，自適應(yīng)實(shí)例相似性嵌入方法（AISEOCL），無(wú)論樣本是否屬于同一類(lèi)，該方法可以自適應(yīng)地計(jì)算當(dāng)前訓(xùn)練批中所有實(shí)例之間的相似關(guān)系。
我們提出了一種相似性蒸餾損失，可以在經(jīng)驗(yàn)回放過(guò)程中將查詢(xún)點(diǎn)與先前模型中的錨點(diǎn)相比的相似性轉(zhuǎn)移到當(dāng)前模型，對(duì)抗災(zāi)難性遺忘。
該方法可以進(jìn)一步提高模型的判別性能，使相似樣例在特征空間中比不相似樣例更接近，從而提高模型的性能。
我們進(jìn)行了全面的實(shí)驗(yàn)比較，和一系列最先進(jìn)的基準(zhǔn)模型比較，驗(yàn)證我們提出的方法的有效性，并進(jìn)行了消融研究，以進(jìn)一步了解AISEOCL模型中每個(gè)組分的貢獻(xiàn)。
劉建偉，教師，學(xué)者。研究領(lǐng)域涉及在線(xiàn)學(xué)習(xí)（包括強(qiáng)化學(xué)習(xí)，賭博機(jī)算法，持續(xù)學(xué)習(xí)，長(zhǎng)尾學(xué)習(xí)）；圖像視頻顯著性目標(biāo)檢測(cè)，解糾纏表示學(xué)習(xí)，光場(chǎng)和神經(jīng)場(chǎng)模型，以及圖像視頻少樣本變化檢測(cè)；自然語(yǔ)言理解中的知識(shí)補(bǔ)全，圖神經(jīng)網(wǎng)絡(luò)；不平衡數(shù)據(jù)處理；霍克斯點(diǎn)過(guò)程故障預(yù)測(cè)與診斷；非線(xiàn)性預(yù)測(cè)與控制。 是兵器裝備工程學(xué)報(bào)第三屆編輯委員會(huì)委員。歷屆中國(guó)控制會(huì)議(CCC)和中國(guó)控制與決策會(huì)議(CCDC)的程序委員會(huì)委員。擔(dān)任過(guò)80多個(gè)國(guó)際會(huì)議的TPC.