科研動(dòng)態(tài)
LOPD：基于域適應(yīng)的低照度場(chǎng)景遮擋行人檢測(cè)模型
中文題目：LOPD：基于域適應(yīng)的低照度場(chǎng)景遮擋行人檢測(cè)模型
論文題目：LOPD: A Low-illumination Scene Occluded Pedestrian Detection Model Based on Domain Adaptation
錄用期刊/會(huì)議：【International Joint Conference on Neural Networks 2025】 (CCF C類(lèi) 會(huì)議)
作者列表：
1） 祝留宇 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè) 碩 23
2） 王智廣 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)系教師
3） 侯永勝 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 能源動(dòng)力專(zhuān)業(yè) 博24
4） 劉志強(qiáng) 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè) 碩 23
5） 李 珅 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)技術(shù)專(zhuān)業(yè) 碩23
6） 李曉雪 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè) 碩 23
文章簡(jiǎn)介:
近年來(lái)，在行人檢測(cè)領(lǐng)域，相關(guān)的模型和方法不斷被提出。但目前仍有兩個(gè)問(wèn)題尚未被很好地解決，這兩個(gè)問(wèn)題分別是低照度和遮擋。針對(duì)低照度遮擋復(fù)合場(chǎng)景下的行人檢測(cè)問(wèn)題，本文開(kāi)展了一系列研究工作。
摘要:
在行人檢測(cè)領(lǐng)域主要存在以下瓶頸：（1）行人檢測(cè)領(lǐng)域的開(kāi)源數(shù)據(jù)集缺少低照度遮擋復(fù)合場(chǎng)景的數(shù)據(jù)集；（2）低照度圖片中存在高頻噪聲，這些高頻噪聲會(huì)降低模型檢測(cè)的準(zhǔn)確率；（3）通用行人檢測(cè)方法的邊界框損失函數(shù)在遮擋場(chǎng)景中定位不夠準(zhǔn)確；（4）傳統(tǒng)NMS算法在遮擋場(chǎng)景中容易導(dǎo)致漏檢。針對(duì)上述瓶頸問(wèn)題，本文提出了一種基于域適應(yīng)的低照度遮擋復(fù)合場(chǎng)景行人檢測(cè)模型LOPD。
主要內(nèi)容:
1．LOPD整體模型架構(gòu)圖
我們想在只利用有標(biāo)簽的正常照度遮擋行人數(shù)據(jù)集和無(wú)標(biāo)簽的低照度遮擋行人數(shù)據(jù)集的情況下去完成低照度遮擋場(chǎng)景下的行人檢測(cè)任務(wù)。基于此我們?cè)O(shè)計(jì)了能夠進(jìn)行域適應(yīng)的LOPD模型，LOPD的整體架構(gòu)圖如圖1所示。
圖1 LOPD的整體架構(gòu)圖
圖片的中部是半監(jiān)督域適應(yīng)檢測(cè)框架MT-YOLO。圖片的左側(cè)是輸入，我們除了將源域（正常照度域）圖片
和目標(biāo)域（低照度域）
圖片作為輸入外，為了緩解光照差異，我們還使用離線(xiàn)模型S2WAT去生成具有目標(biāo)域風(fēng)格的源域圖片
和具有源域風(fēng)格的目標(biāo)域圖片
，并將他們一起送入MT-YOLO中。圖片的右側(cè)是不同的損失函數(shù)。對(duì)于不同的輸入使用不同的損失函數(shù)來(lái)支持半監(jiān)督域適應(yīng)。我們所提出的AR Loss被包含在Detection Loss中。此外，由于我們所提出的SD-NMS是后處理步驟因此并未在模型架構(gòu)圖中展示出來(lái)，它的詳細(xì)論述將在第5節(jié)給出。
2．域適應(yīng)蒸餾檢測(cè)架構(gòu)MT-YOLO
MT-YOLO是LOPD的核心部分，也是LOPD能夠?qū)⒄Ｕ斩扔蛏蠈W(xué)習(xí)到的知識(shí)遷移到低照度域的關(guān)鍵原因之一。MT-YOLO的半監(jiān)督學(xué)習(xí)架構(gòu)是Mean Teacher，同時(shí)我們采用兩個(gè)完全相同的、添加了CLEF模塊的YOLOv8作為Mean Teacher的教師模型和學(xué)生模型。MT-YOLO的模型架構(gòu)如圖1中部所示。
3．跨階段低頻增強(qiáng)濾波器CLEF
為了抑制低照度圖片中的高頻噪聲同時(shí)融合不同階段的特征信息，我們?cè)O(shè)計(jì)了CLEF模塊。CLEF的具體結(jié)構(gòu)如圖2所示。
圖2 CLEF模塊詳細(xì)結(jié)構(gòu)圖
4．吸引排斥損失函數(shù)AR Loss
AR Loss的目標(biāo)是在訓(xùn)練過(guò)程中讓擬合行人T的預(yù)測(cè)框盡可能地與行人T的GT框靠近（吸引），同時(shí)與周?chē)腥说腉T框遠(yuǎn)離（排斥）。AR Loss公式如式（1）所示。
在公式（1）中AR Loss由兩部分組成，其中吸引部分包括兩個(gè)損失函數(shù)：一個(gè)是CIOU Loss，另一個(gè)是DFL Loss；排斥部分只包括RepGT Loss（如公式（2）所示）。
5．SD-NMS
為了減少遮擋場(chǎng)景中漏檢的錯(cuò)誤情況發(fā)生。我們?cè)O(shè)計(jì)出了SD-NMS后處理算法。SD-NMS的具體細(xì)節(jié)信息如表1所示。
表1 SD-NMS后處理算法
實(shí)驗(yàn)結(jié)果及分析:
1、數(shù)據(jù)集
我們選取Citypersons中包含遮擋行人的圖片以及在現(xiàn)實(shí)場(chǎng)景中收集的正常照度遮擋行人圖片作為本研究所使用的正常照度遮擋行人數(shù)據(jù)集，記為
。同時(shí)，我們將從互聯(lián)網(wǎng)上和現(xiàn)實(shí)場(chǎng)景中采集的低照度遮擋行人圖片作為為本研究所使用的低照度遮擋行人數(shù)據(jù)集，記為
。
此外，我們用
和
訓(xùn)練了S2WAT模型，然后利用S2WAT去生成
和
。各種類(lèi)型圖片的具體數(shù)量如表2所示。
表2 不同類(lèi)型的圖片的數(shù)量及來(lái)源
2、對(duì)比實(shí)驗(yàn)
為了證明我們提出的方法的有效性，我們?cè)谏弦恍」?jié)構(gòu)建的低照度數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并與其它行人檢測(cè)模型進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。實(shí)驗(yàn)表明我們的方法更適用于低照度遮擋場(chǎng)景中的行人檢測(cè)。
表3不同檢測(cè)模型之間的性能對(duì)比
結(jié)論:
本文提出了一種適用于低照度遮擋復(fù)合場(chǎng)景下的行人檢測(cè)方法LOPD。在LOPD中，我們?cè)O(shè)計(jì)的半監(jiān)督域自適應(yīng)檢測(cè)架構(gòu)MT-YOLO使檢測(cè)器能夠利用無(wú)標(biāo)簽的低照度數(shù)據(jù)集；CLEF模塊能夠抑制低照度圖像中的高頻噪聲；AR Loss損失函數(shù)和SD-NMS能夠解決遮擋場(chǎng)景中行人定位不準(zhǔn)確和漏檢的問(wèn)題。實(shí)驗(yàn)結(jié)果表明，我們的方法在低照度遮擋復(fù)合場(chǎng)景中能夠獲得更好的行人檢測(cè)結(jié)果。
通訊作者簡(jiǎn)介:
王智廣，教授。博士生導(dǎo)師，北京市教學(xué)名師。中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）高級(jí)會(huì)員，全國(guó)高校實(shí)驗(yàn)室工作研究會(huì)信息技術(shù)專(zhuān)家指導(dǎo)委員會(huì)委員，北京市計(jì)算機(jī)教育研究會(huì)常務(wù)理事。長(zhǎng)期從事計(jì)算機(jī)視覺(jué)、知識(shí)圖譜方面的研究工作，主持或承擔(dān)國(guó)家重大科技專(zhuān)項(xiàng)子任務(wù)、國(guó)家重點(diǎn)研發(fā)計(jì)劃子課題、國(guó)家自然科學(xué)基金、北京市重點(diǎn)實(shí)驗(yàn)室課題、地方政府委托課題以及企業(yè)委托課題20余項(xiàng)，在國(guó)內(nèi)外重要學(xué)術(shù)會(huì)議和期刊上合作發(fā)表學(xué)術(shù)論文70余篇，培養(yǎng)了100余名碩士博士研究生。