科研動(dòng)態(tài)
交通場(chǎng)景中夜間圖像的預(yù)處理：當(dāng)?shù)凸庠鰪?qiáng)遇上耀斑消除
中文題目：交通場(chǎng)景中夜間圖像的預(yù)處理：當(dāng)?shù)凸庠鰪?qiáng)遇上耀斑消除
論文題目：Nighttime Image Preprocessing in Traffic Scenes: When Low-light Enhancement Meets Flare Removal
錄用期刊/會(huì)議：2024 International Conference on Virtual Reality and Visualization (CCF C)
作者列表：
1） 劉志強(qiáng) 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 碩23
2） 周 靜 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 碩22
3） 李曉雪 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 碩23
4） 祝留宇 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 碩23
5） 王智廣 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 教師
6） 魯 強(qiáng) 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 教師
摘要:
檢測(cè)摩托車(chē)駕駛員是否佩戴頭盔是目標(biāo)檢測(cè)領(lǐng)域的關(guān)鍵任務(wù)之一。然而，大多數(shù)現(xiàn)有的頭盔檢測(cè)方法都只適用于光線(xiàn)充足的白天場(chǎng)景，在能見(jiàn)度較低的夜間場(chǎng)景中難以發(fā)揮作用。夜間場(chǎng)景的能見(jiàn)度較低，視野盲區(qū)較大，這給檢測(cè)任務(wù)帶來(lái)了巨大挑戰(zhàn)。此外，本文還強(qiáng)調(diào)，在夜間場(chǎng)景中，影響檢測(cè)任務(wù)的因素不僅限于能見(jiàn)度較低，還包括車(chē)輛前燈或路燈產(chǎn)生的反射耀斑。針對(duì)上述兩大挑戰(zhàn)，本文驗(yàn)證了在攝像機(jī)中廣泛存在的光學(xué)中心對(duì)稱(chēng)先驗(yàn)信息，即光源及其產(chǎn)生的反射耀斑始終圍繞鏡頭中心對(duì)稱(chēng)。本文還提出了一種數(shù)據(jù)預(yù)處理模型，DCRE。該模型利用層分解技術(shù)生成注意力圖，引導(dǎo)增強(qiáng)圖像中的低光區(qū)域，同時(shí)利用光學(xué)中心對(duì)稱(chēng)先驗(yàn)信息消除反射耀斑，從而提高夜間場(chǎng)景下的檢測(cè)精度。本文通過(guò)大量實(shí)驗(yàn)驗(yàn)證了 DCRE 的有效性。使用 DCRE 模型進(jìn)行預(yù)處理后，檢測(cè)準(zhǔn)確率從 62.8% 提高到 76.0%。
設(shè)計(jì)與實(shí)現(xiàn):
針對(duì)于夜間場(chǎng)景，本文提出了一種基于圖層分解技術(shù)和光學(xué)中心對(duì)稱(chēng)先驗(yàn)信息的夜間圖像預(yù)處理模型DCRE，如圖1所示。
圖1. DCRE模型的結(jié)構(gòu)。(1)表示圖層分解模塊，用于將輸入圖像(a)分解為光效層(b)和背景層(c)。(2)表示高斯擬合模塊，用于定位圖像的光源中心，(d)中的綠點(diǎn)表示擬合結(jié)果。(3)表示消除反射耀斑模塊，該模塊基于光源中心和光學(xué)中心對(duì)稱(chēng)先驗(yàn)信息對(duì)背景層(c)中的反射耀斑進(jìn)行定位和消除。(4)表示低光增強(qiáng)模塊，該模塊使用光效層(b)作為注意力圖，引導(dǎo)模型對(duì)去除反射耀斑后的結(jié)果(e)的低光區(qū)域進(jìn)行增強(qiáng)，得到增強(qiáng)圖像(f)。(5)表示最終的檢測(cè)模塊，本文使用RAY-Net完成檢測(cè)任務(wù)，得到檢測(cè)結(jié)果(g)。
1、層分解
如圖1(1)所示，對(duì)于任意輸入圖像 I，本文使用圖像層分解技術(shù)對(duì)其進(jìn)行分解，分解模型如下：
該公式將輸入圖像 I 分解為無(wú)光效的背景層B和光效層E。本文使用兩個(gè)獨(dú)立的神經(jīng)網(wǎng)絡(luò)從輸入圖像I中獲得背景層和光效層：
其中
分別表示從輸入圖像 I 中得到背景層B和光效層E的網(wǎng)絡(luò)模型。
2、光學(xué)中心對(duì)稱(chēng)先驗(yàn)
受Dai等人的啟發(fā)，我們發(fā)現(xiàn)智能手機(jī)和相機(jī)在捕捉強(qiáng)光時(shí)會(huì)在圖像中留下反射耀斑。由于攝像鏡頭內(nèi)部組件的反射，產(chǎn)生這種反射耀斑通常是不可避免的。耀斑會(huì)影響圖像的質(zhì)量，這在交通監(jiān)測(cè)領(lǐng)域中尤為突出，如圖2所示。如果這些耀斑恰好在摩托車(chē)駕駛員頭部的位置，將不可避免地影響檢測(cè)任務(wù)的準(zhǔn)確性。如圖3所示，光源和其產(chǎn)生的反射耀斑的位置總是關(guān)于相機(jī)鏡頭中心呈現(xiàn)對(duì)稱(chēng)關(guān)系。本文使用三種品牌的智能手機(jī)(iPhone 14 Plus、華為榮耀90 Pro、小米14 Pro)、尼康相機(jī)(尼康Z9)和交通監(jiān)控?cái)z像機(jī)(9361-S)進(jìn)一步驗(yàn)證了這種光學(xué)先驗(yàn)信息。
圖2. 光源與反射耀斑的位置關(guān)系。
3、去除反射耀斑
摩托車(chē)的前燈通常不會(huì)影響頭盔檢測(cè)任務(wù)，因?yàn)轳{駛員的頭部和前燈通常不會(huì)重疊。然而，大多數(shù)交通監(jiān)控?cái)z像機(jī)都位于頭頂角度，這意味著車(chē)輛前燈產(chǎn)生的反射耀斑可能會(huì)與駕駛員的頭部重合。同時(shí)，交通道路上的路燈產(chǎn)生的反射耀斑也可能與駕駛員重疊。這些反射耀斑會(huì)嚴(yán)重影響圖像質(zhì)量，從而影響檢測(cè)任務(wù)的準(zhǔn)確性，如圖2中的反射耀斑所示。本文使用高斯擬合算法在光效層E中定位光源中心的位置
，利用光學(xué)中心對(duì)稱(chēng)先驗(yàn)信息，可以很容易地確定反射耀斑的位置：
其中
分別表示光源和反射耀斑的坐標(biāo)。獲取反射耀斑的位置后，我們進(jìn)一步減少或消除圖像中的反射耀斑。由于在同一場(chǎng)景中收集有反射耀斑和沒(méi)有反射耀斑的配對(duì)圖像是不現(xiàn)實(shí)且不可行的，因此本文使用非配對(duì)圖像進(jìn)行訓(xùn)練，并采用無(wú)監(jiān)督學(xué)習(xí)消除反射耀斑。
4、低光增強(qiáng)
如圖1(4)所示，本文使用光效層作為注意力圖引導(dǎo)模型增強(qiáng)低光區(qū)域。光效層E中像素值越高，表示原始圖像中該位置的光越強(qiáng)。相反，光效層E中像素值越低，表示原始圖像中該位置越暗。因此，我們使用光效層來(lái)引導(dǎo)模型增強(qiáng)低光區(qū)域，從而提高這些低光區(qū)域的亮度。
在檢測(cè)摩托車(chē)駕駛員是否佩戴頭盔的任務(wù)中，重點(diǎn)關(guān)注的是摩托車(chē)及其駕駛員的頭部位置，該任務(wù)不受強(qiáng)光的影響。因此，本文所提出的方法不同于其他流行的夜間增強(qiáng)方法。其他流行的夜間增強(qiáng)方法通常會(huì)在增強(qiáng)低光區(qū)域的同時(shí)抑制強(qiáng)光區(qū)域。相比之下，本文的方法只增強(qiáng)低光區(qū)域，而不需要抑制強(qiáng)光區(qū)域。
實(shí)驗(yàn)結(jié)果及分析:
表1展示了去除反射耀斑前后的圖像質(zhì)量。從PSNR、SSIM兩個(gè)指標(biāo)的評(píng)價(jià)可以看出，我們的方法在消除反射耀斑后的圖像質(zhì)量是非常高的。
Table 1. 去除反射耀斑后的圖像質(zhì)量。
本文利用光效層作為注意力圖，引導(dǎo)模型增強(qiáng)低光區(qū)域。表2將本文提出的增強(qiáng)方法與其他現(xiàn)有流行的方法進(jìn)行了比較，可以看出我們的方法在增強(qiáng)后具有更高的圖像質(zhì)量。
Table 2. 低光區(qū)域增強(qiáng)后圖像質(zhì)量的對(duì)比。
DCRE模型主要關(guān)注的內(nèi)容是低光區(qū)域的增強(qiáng)工作以及反射耀斑的消除工作，因此本文在實(shí)驗(yàn)中對(duì)這兩個(gè)主要的工作進(jìn)行消融分析。本文做了如下四個(gè)實(shí)驗(yàn)：
1. 直接使用RAY-Net完成檢測(cè)任務(wù)。
2. 在使用RAY-Net完成檢測(cè)任務(wù)之前先使用DCRE模型中的低光增強(qiáng)模塊進(jìn)行預(yù)處理。
3. 在使用RAY-Net完成檢測(cè)任務(wù)之前先使用DCRE模型中的耀斑消除模塊進(jìn)行預(yù)處理。
4. 在使用RAY-Net完成檢測(cè)任務(wù)之前使用完整的DCRE模型同時(shí)進(jìn)行低光增強(qiáng)和耀斑消除。
實(shí)驗(yàn)結(jié)果如表3所示，如果直接使用RAY-Net進(jìn)行檢測(cè)，平均準(zhǔn)確率僅為62.8%。如果對(duì)輸入圖像進(jìn)行低光增強(qiáng)后再做檢測(cè)任務(wù)，平均準(zhǔn)確率能從62.8%提升到75.6%。這證明本文的DCRE模型中的低光增強(qiáng)工作是有效的，這是因?yàn)榈凸庠鰪?qiáng)可以改善夜間圖像的可視度和區(qū)分度，從而增加圖像中各種物體的可識(shí)別性。如果對(duì)輸入圖像進(jìn)行耀斑消除后再做檢測(cè)任務(wù)，平均準(zhǔn)確率能從62.8%提升到64.2%。這證明DCRE模型中耀斑消除功能也是有效的，這是因?yàn)槿コ呖梢蕴岣邎D像質(zhì)量，防止反射在摩托車(chē)駕駛員頭部的耀斑影響頭盔識(shí)別任務(wù)。如果同時(shí)進(jìn)行耀斑消除和低光增強(qiáng)，平均準(zhǔn)確率能從62.8%提高到76.0%。從消融實(shí)驗(yàn)可以看出，這兩個(gè)主要改進(jìn)都是有意義的，可以有效地增強(qiáng)圖像中的低光區(qū)域并且消除圖像中的噪聲，進(jìn)而提高摩托車(chē)駕駛員頭盔檢測(cè)任務(wù)的準(zhǔn)確性。
Table 3. DCRE模型的消融實(shí)驗(yàn)結(jié)果。
結(jié)論:
針對(duì)夜間場(chǎng)景，本文提出了一種名為 DCRE 的預(yù)處理方法。DCRE 基于圖像層分解和光學(xué)中心對(duì)稱(chēng)先驗(yàn)信息對(duì)夜間圖像進(jìn)行增強(qiáng)和去噪處理。該方法將圖像分解為背景層和光效層。隨后，我們使用高斯擬合算法來(lái)定位光效層中的光源中心，利用光學(xué)中心對(duì)稱(chēng)先驗(yàn)信息定位并消除圖像中的反射耀斑。實(shí)驗(yàn)證明，該方法能夠有效提高夜間場(chǎng)景下檢測(cè)任務(wù)的準(zhǔn)確性。在未來(lái)的研究中，我們將進(jìn)一步探索如何應(yīng)對(duì)其他具有挑戰(zhàn)性的場(chǎng)景，以提高交通監(jiān)控系統(tǒng)整體的準(zhǔn)確性。
作者簡(jiǎn)介:
王智廣，教授。博士生導(dǎo)師，北京市教學(xué)名師，北京市教育系統(tǒng)“教書(shū)育人先鋒”。中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）高級(jí)會(huì)員，全國(guó)高校實(shí)驗(yàn)室工作研究會(huì)信息技術(shù)專(zhuān)家指導(dǎo)委員會(huì)委員，全國(guó)高校計(jì)算機(jī)專(zhuān)業(yè)（本科）實(shí)驗(yàn)教材與實(shí)驗(yàn)室環(huán)境開(kāi)發(fā)專(zhuān)家委員會(huì)委員，北京市計(jì)算機(jī)教育研究會(huì)常務(wù)理事。長(zhǎng)期從事分布式并行計(jì)算、三維可視化、計(jì)算機(jī)視覺(jué)、知識(shí)圖譜方面的研究工作，主持或承擔(dān)國(guó)家重大科技專(zhuān)項(xiàng)子任務(wù)、國(guó)家重點(diǎn)研發(fā)計(jì)劃子課題、國(guó)家自然科學(xué)基金、北京市教委科研課題、北京市重點(diǎn)實(shí)驗(yàn)室課題、地方政府委托課題以及企業(yè)委托課題20余項(xiàng)，在國(guó)內(nèi)外重要學(xué)術(shù)會(huì)議和期刊上合作發(fā)表學(xué)術(shù)論文70余篇，培養(yǎng)了100余名碩士博士研究生。