科研動(dòng)態(tài)
HR-YOLO:融合高分辨率網(wǎng)絡(luò)和YOLOv5的合規(guī)性檢測(cè)方法
論文題目：HR-YOLO:融合高分辨率網(wǎng)絡(luò)和YOLOv5的合規(guī)性檢測(cè)方法
錄用期刊：Electronics (中科院SCI 3區(qū)，JCR Q2)
原文DOI：https://doi.org/10.3390/electronics13122271
作者列表：
1） 連遠(yuǎn)鋒 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)系教師
2） 李 璟 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)技術(shù)專(zhuān)業(yè) 碩22
4） 董紹華 中國(guó)石油大學(xué)（北京）安全與海洋工程學(xué)院 安全工程系教師
5） 李興濤 中國(guó)石油國(guó)際勘探開(kāi)發(fā)有限公司 高級(jí)工程師
摘要:
自動(dòng)合規(guī)性檢測(cè)對(duì)保障安全生產(chǎn)具有重要意義。然而，由于環(huán)境復(fù)雜、光照條件差、目標(biāo)尺寸小等原因，合規(guī)性檢測(cè)的準(zhǔn)確性受到挑戰(zhàn)。本文提出一種新穎高效的深度學(xué)習(xí)框架HR-YOLO用于安全帽合規(guī)性佩戴檢測(cè)方法。該框架從安全帽物體特征和人體姿態(tài)特征兩方面綜合安全帽佩戴信息。HR-YOLO可以使用兩個(gè)分支的特征，使抑制預(yù)測(cè)的邊界框?qū)π∧繕?biāo)更準(zhǔn)確。然后，為了進(jìn)一步提高模型的迭代效率和精度，使用優(yōu)化的供能隨機(jī)梯度下降(OP-SGD)設(shè)計(jì)了一個(gè)優(yōu)化的殘差網(wǎng)絡(luò)結(jié)構(gòu)。此外，設(shè)計(jì)拉普拉斯感知注意力模型(LAAM)，使YOLOv5解碼器更加關(guān)注來(lái)自人體姿態(tài)的特征信息，抑制無(wú)關(guān)特征的干擾，從而增強(qiáng)網(wǎng)絡(luò)表征。最后，提出非極大值抑制投票(PA-NMS voting)，利用姿態(tài)信息約束邊界框的置信度，并通過(guò)改進(jìn)的投票過(guò)程選擇最優(yōu)邊界框，以提高對(duì)被遮擋目標(biāo)的檢測(cè)精度。實(shí)驗(yàn)結(jié)果表明，提出的安全帽檢測(cè)網(wǎng)絡(luò)性能優(yōu)于其他方法，在應(yīng)用場(chǎng)景中具有實(shí)用價(jià)值。與其他算法相比，所提算法在準(zhǔn)確率、召回率和mAP上分別平均提高了7.27%、5.46%和7.3%
背景與動(dòng)機(jī):
合規(guī)性佩戴檢測(cè)是計(jì)算機(jī)視覺(jué)的一個(gè)重要任務(wù)，已廣泛應(yīng)用于各個(gè)領(lǐng)域，如交通監(jiān)控、智慧城市、建筑安全等。安全帽合規(guī)性佩戴檢測(cè)方法主要可分為傳統(tǒng)的估計(jì)方法和基于深度學(xué)習(xí)的估計(jì)方法。早期傳統(tǒng)安全帽檢測(cè)方法往往采用需要人工檢測(cè)且耗時(shí)較長(zhǎng)，估計(jì)結(jié)果精度較低，魯棒性較差。近年來(lái)，利用卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力，采用深度學(xué)習(xí)的方法來(lái)檢測(cè)安全帽佩戴狀態(tài)。雖然已經(jīng)取得了顯著的改進(jìn)，但由于以上安全帽檢測(cè)方法忽視了在檢測(cè)過(guò)程中的人體姿態(tài)信息，導(dǎo)致在復(fù)雜工業(yè)場(chǎng)景下受遮擋和背景混淆的安全帽難以被正確識(shí)別，使得在工業(yè)場(chǎng)景下的安全帽檢測(cè)應(yīng)用難以獲得良好的結(jié)果。
主要內(nèi)容:
為了實(shí)現(xiàn)多尺度目標(biāo)檢測(cè)，構(gòu)建了一個(gè)多分支并行融合網(wǎng)絡(luò)HR-YOLO，如圖1所示。原始圖像大小為640 × 640 × 3，首先通過(guò)主干部分提取初步特征信息。這些特征傳遞給ODB，由ODB進(jìn)一步提取和過(guò)濾特征，使用LAAM進(jìn)行頭盔目標(biāo)檢測(cè)。同時(shí)，PDB從初步特征中提取人體姿態(tài)特征，確定頭部區(qū)域信息。最后，PA-NMS投票利用頭盔物體特征和頭部區(qū)域信息選擇置信度和可靠性更高的邊界框。通過(guò)這4種改進(jìn)，HR-YOLO有效地識(shí)別小目標(biāo)，并對(duì)安全帽佩戴進(jìn)行合規(guī)性檢測(cè)。
圖1 HR-YOLO網(wǎng)絡(luò)結(jié)構(gòu)
實(shí)驗(yàn)結(jié)果及分析:
為了定量分析所提方法與其他方法的檢測(cè)性能，在表1中給出了GDUT-HWD數(shù)據(jù)集上各項(xiàng)指標(biāo)的實(shí)驗(yàn)結(jié)果。對(duì)比包括SSD、R-SSD、Faster RCNN、YOLOv3、YOLOv3-tiny、YOLOv4、YOLOv5s、YOLOv7s、YOLOv8s。以平均精度均值(mAP)評(píng)價(jià)指標(biāo)為例，與其他方法相比，所提方法在5個(gè)類(lèi)別中均取得了較高的檢測(cè)精度。同時(shí)，在評(píng)估精度和F1分?jǐn)?shù)時(shí)，所提出的方法與其他方法相比也在不同識(shí)別類(lèi)別中提高了檢測(cè)精度。如表2所示，在SHWD數(shù)據(jù)集上，當(dāng)IoU閾值設(shè)置為0.5時(shí)，所提方法的檢測(cè)準(zhǔn)確率達(dá)到96.1%。在帽子類(lèi)別和人類(lèi)別上的準(zhǔn)確率分別達(dá)到97.4%和94.9%。當(dāng)IoU閾值在0.5 ~ 0.95之間時(shí)，mAP達(dá)到65.4%，比YOLOv5s提高了4.3%。為了進(jìn)一步驗(yàn)證HR-YOLO的魯棒性，在CUMT-HelmeT數(shù)據(jù)集上與SSD、Faster RCNN、YOLOv3、YOLOv5s、YOLOv7和YOLOv8s不同方法進(jìn)行了對(duì)比實(shí)驗(yàn)。表3列出了不同方法的precision、recall、F1、mAP、Params和GFLOPs的值。從表中可以看出，與其他六種方法相比，我們的方法表現(xiàn)出最高的準(zhǔn)確率、召回率、F1值、[email protected]和[email protected]:0.95。此外，在precision、recall、F1、[email protected]和[email protected]:0.95值上，與YOLOv5的結(jié)果相比，分別達(dá)到了3.8%、6.1%、5.1%、5.6%和7.7%的提升。
表1 在GDUT-HWD數(shù)據(jù)集上的實(shí)驗(yàn)比較結(jié)果
表2 在SHWD數(shù)據(jù)集上的實(shí)驗(yàn)比較結(jié)果
表3 在CUMT-HelmeT數(shù)據(jù)集上的實(shí)驗(yàn)比較結(jié)果
如圖2所示，在人群密集、背景復(fù)雜、目標(biāo)被遮擋的圖像中，HR-YOLO可以很好地檢測(cè)目標(biāo)。同樣，所提算法在夜間光照不足的圖像中仍能準(zhǔn)確、魯棒地檢測(cè)出目標(biāo)。
圖2 SHWDSHWD數(shù)據(jù)集上的檢測(cè)結(jié)果示例
從圖3可以看出，在來(lái)自加油站的安全帽數(shù)據(jù)集中，HR-YOLO對(duì)于小目標(biāo)、復(fù)雜工業(yè)背景等情況仍然能夠準(zhǔn)確地檢測(cè)佩戴合規(guī)性。
圖3 加油站數(shù)據(jù)集上的檢測(cè)結(jié)果示例
在CUMT-HelmeT數(shù)據(jù)集上的對(duì)比目標(biāo)檢測(cè)結(jié)果如圖4所示，所選原始圖像在小目標(biāo)和多目標(biāo)檢測(cè)以及光照條件較差的情況下都存在挑戰(zhàn)。從圖中可以看出，本文方法在安全帽檢測(cè)方面取得了比對(duì)比方法更好的結(jié)果。
圖4 CUMT-HelmeT數(shù)據(jù)集上的檢測(cè)結(jié)果
為了驗(yàn)證所提出的安全帽檢測(cè)方法的實(shí)用性，將HR-YOLO應(yīng)用于四足機(jī)器人巡檢系統(tǒng)，如圖5所示。
圖5 四足機(jī)器人巡檢系統(tǒng)
表4比較了不同方法得到的四足機(jī)器人系統(tǒng)頭盔檢測(cè)分類(lèi)結(jié)果。文件夾大小是指所有配置文件的總大小，使四足機(jī)器人系統(tǒng)能夠獨(dú)立運(yùn)行檢測(cè)程序。HR-YOLO的測(cè)試精度和FPS最高，同時(shí)其文件夾大小仍在可接受范圍內(nèi)。
表4 在四足機(jī)器狗上運(yùn)行的實(shí)驗(yàn)比較結(jié)果
圖6展示了HR-YOLO在室內(nèi)場(chǎng)景中的應(yīng)用。在加油站，工人經(jīng)常在密集的管道附近工作，部分設(shè)備的形狀類(lèi)似于安全帽。實(shí)驗(yàn)結(jié)果表明，該方法能夠有效地檢測(cè)出復(fù)雜室內(nèi)場(chǎng)景下安全帽佩戴情況。
圖6 HR-YOLO在室內(nèi)場(chǎng)景中檢測(cè)結(jié)果
圖7展示了HR-YOLO在戶(hù)外場(chǎng)景中的應(yīng)用。由此可見(jiàn)，所提方法能夠準(zhǔn)確檢測(cè)工人是否佩戴安全帽。四足機(jī)器人可以接收HR-YOLO的檢測(cè)信息，并將信息傳遞給未正確佩戴頭盔的工人。
圖7 HR-YOLO在室外場(chǎng)景中檢測(cè)結(jié)果
結(jié)論:
針對(duì)實(shí)際應(yīng)用中安全帽檢測(cè)任務(wù)的需求，本文提出一種基于PA-NMS的網(wǎng)絡(luò)HR-YOLO，從安全帽物體特征和人體姿態(tài)特征中綜合安全帽佩戴信息。為了克服目標(biāo)尺寸較小導(dǎo)致的檢測(cè)精度下降問(wèn)題，我們?cè)O(shè)計(jì)OP-SGD來(lái)提高網(wǎng)絡(luò)的表達(dá)能力。然后，提出了LAAM，使YOLOv5解碼器更多地關(guān)注來(lái)自人體姿態(tài)的特征信息，以增強(qiáng)網(wǎng)絡(luò)表征并抑制無(wú)關(guān)特征的干擾。此外，本文提出了一種新的后處理算法PA-NMS voting，該算法利用基于位姿信息約束的抑制算法來(lái)確定邊界框的置信度，并利用投票操作來(lái)獲得新的最優(yōu)邊界框。最后，將HR-YOLO與其他主流目標(biāo)檢測(cè)方法進(jìn)行對(duì)比，并設(shè)計(jì)消融實(shí)驗(yàn)對(duì)所提方法的性能進(jìn)行評(píng)估。實(shí)驗(yàn)結(jié)果表明，HR-YOLO在安全帽佩戴檢測(cè)任務(wù)中優(yōu)于其他算法，在面對(duì)不同噪聲條件、光照變化和遮擋程度時(shí)具有良好的魯棒性。實(shí)驗(yàn)結(jié)果也表明了所提方法在各種應(yīng)用中的實(shí)用價(jià)值。
未來(lái)，我們將重點(diǎn)探索如何進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，納入多任務(wù)輸出分支，增強(qiáng)網(wǎng)絡(luò)對(duì)多樣化多模態(tài)信息的檢測(cè)能力。此外，我們將進(jìn)一步減少計(jì)算/內(nèi)存成本，改善訓(xùn)練不穩(wěn)定性，并支持高效的分布式訓(xùn)練，以應(yīng)對(duì)大規(guī)模應(yīng)用中的可擴(kuò)展性問(wèn)題。
作者簡(jiǎn)介:
連遠(yuǎn)鋒，教授，碩士生導(dǎo)師。研究方向?yàn)閳D像處理與虛擬現(xiàn)實(shí)、機(jī)器視覺(jué)與機(jī)器人、深度學(xué)習(xí)與數(shù)字孿生。