科研動(dòng)態(tài)
用于對(duì)嘈雜和不平衡數(shù)據(jù)的元學(xué)習(xí)和類(lèi)感知自適應(yīng)閾值的協(xié)同穩(wěn)健學(xué)習(xí)框架
中文題目：用于對(duì)嘈雜和不平衡數(shù)據(jù)的元學(xué)習(xí)和類(lèi)感知自適應(yīng)閾值的協(xié)同穩(wěn)健學(xué)習(xí)框架
論文題目： Synergistic Framework of Meta-Learning and Class-Aware Adaptive Thresholding for Robust Learning on Noisy and Imbalanced Data
錄用期刊/會(huì)議：CPCC2025 （CAA A類(lèi)會(huì)議）
錄用時(shí)間：2025.5.28
作者列表：
1)劉芷含 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 控制科學(xué)與工程 研23級(jí)
2)劉建偉 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 教師
摘要:
1) 提出了一種新的魯棒學(xué)習(xí)框架ML-CAT（Meta-Learning and Class-Aware Adaptive Thresholding），該框架結(jié)合了元學(xué)習(xí)和基于類(lèi)的自適應(yīng)閾值生成方法，有效應(yīng)對(duì)噪聲標(biāo)簽和類(lèi)別不平衡問(wèn)題，顯著提高了模型在復(fù)雜數(shù)據(jù)場(chǎng)景下的魯棒性和泛化能力。
2) 通過(guò)構(gòu)建基于類(lèi)特征分布的高斯混合模型（GMM），實(shí)現(xiàn)了動(dòng)態(tài)閾值的自適應(yīng)調(diào)整，從而精準(zhǔn)區(qū)分干凈樣本與噪聲樣本。結(jié)合元學(xué)習(xí)的動(dòng)態(tài)樣本重加權(quán)策略，ML-CAT能夠根據(jù)樣本損失動(dòng)態(tài)優(yōu)化訓(xùn)練權(quán)重，充分利用高置信度樣本，抑制噪聲樣本的負(fù)面影響。
3) 研究進(jìn)一步驗(yàn)證了動(dòng)態(tài)閾值調(diào)整與元學(xué)習(xí)重加權(quán)策略的協(xié)同作用，表明兩者在應(yīng)對(duì)長(zhǎng)尾分布和高噪聲數(shù)據(jù)時(shí)具有互補(bǔ)性。實(shí)驗(yàn)結(jié)果證明，ML-CAT在多個(gè)長(zhǎng)尾噪聲數(shù)據(jù)集上的表現(xiàn)均優(yōu)于現(xiàn)有方法，展現(xiàn)了其在復(fù)雜數(shù)據(jù)場(chǎng)景下的強(qiáng)大適應(yīng)能力和穩(wěn)健性。
背景與動(dòng)機(jī):
在實(shí)際的圖像分類(lèi)任務(wù)中，深度神經(jīng)網(wǎng)絡(luò)通常面臨類(lèi)別不平衡和標(biāo)簽噪聲的雙重挑戰(zhàn)，這會(huì)導(dǎo)致模型預(yù)測(cè)的偏差和魯棒性下降。這種問(wèn)題在醫(yī)療影像分析、工業(yè)檢測(cè)等應(yīng)用領(lǐng)域尤為突出，因?yàn)檫@些領(lǐng)域很難獲取大規(guī)模、高質(zhì)量且類(lèi)別分布平衡的標(biāo)注數(shù)據(jù)集。現(xiàn)有研究通常分別針對(duì)類(lèi)別不平衡和標(biāo)簽噪聲問(wèn)題提出解決方案，但在這兩種問(wèn)題同時(shí)存在的復(fù)雜場(chǎng)景下，現(xiàn)有方法的效果仍然有限。例如，傳統(tǒng)的固定閾值方法在區(qū)分干凈樣本和噪聲樣本時(shí)缺乏靈活性，無(wú)法適應(yīng)不同類(lèi)別和訓(xùn)練階段的動(dòng)態(tài)變化。此外，現(xiàn)有的樣本重加權(quán)方法大多依賴(lài)人工設(shè)計(jì)的權(quán)重分配策略，缺乏對(duì)數(shù)據(jù)動(dòng)態(tài)分布的自適應(yīng)能力。
主要內(nèi)容:
圖1 ML-CAT結(jié)構(gòu)圖
結(jié)論:
本文提出了一種新穎的魯棒訓(xùn)練框架，專(zhuān)為應(yīng)對(duì)噪聲標(biāo)簽和類(lèi)別不平衡問(wèn)題而設(shè)計(jì)。通過(guò)結(jié)合基于類(lèi)別高斯混合模型的自適應(yīng)閾值機(jī)制與基于元學(xué)習(xí)的動(dòng)態(tài)樣本重加權(quán)策略，該框架顯著提升了模型的魯棒性和性能。自適應(yīng)閾值模塊利用特征的統(tǒng)計(jì)分布，在類(lèi)別層面動(dòng)態(tài)識(shí)別高置信度的干凈樣本，為模型提供更可靠的監(jiān)督信號(hào)；同時(shí)，元學(xué)習(xí)模塊通過(guò)端到端的方式動(dòng)態(tài)優(yōu)化樣本權(quán)重，使模型在訓(xùn)練過(guò)程中能夠聚焦于更具信息價(jià)值和可靠性的樣本。實(shí)驗(yàn)結(jié)果表明，所提出的框架在多個(gè)具有噪聲標(biāo)簽和類(lèi)別不平衡的基準(zhǔn)數(shù)據(jù)集上均取得了顯著的性能提升，展現(xiàn)出優(yōu)越的魯棒性和泛化能力。
展望未來(lái)，本文提出的魯棒學(xué)習(xí)框架為解決數(shù)據(jù)質(zhì)量不完美問(wèn)題提供了重要的理論基礎(chǔ)和實(shí)踐工具。未來(lái)研究可以進(jìn)一步探索該方法在大規(guī)模數(shù)據(jù)集、多模態(tài)場(chǎng)景中的擴(kuò)展?jié)摿?，并將其?yīng)用于半監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)等更復(fù)雜的學(xué)習(xí)范式。此外，如何在更廣泛的實(shí)際應(yīng)用中提升模型的適應(yīng)性和泛化能力，也是值得關(guān)注的方向。我們相信，本文的研究成果將為數(shù)據(jù)質(zhì)量受限場(chǎng)景下的穩(wěn)健學(xué)習(xí)提供新的思路，推動(dòng)相關(guān)領(lǐng)域的發(fā)展。
作者簡(jiǎn)介:
劉建偉，教師。