科研動(dòng)態(tài)
開(kāi)放集條件下群體活動(dòng)識(shí)別的再思考
中文題目：開(kāi)放集條件下群體活動(dòng)識(shí)別的再思考
論文題目：Rethinking group activity recognition under the open set condition
錄用期刊/會(huì)議：The Visual Computer (中科院SCI 3區(qū)，JCR Q2，CCF C)
原文DOI：https://doi.org/10.1007/s00371-024-03424-0
原文鏈接：https://link.springer.com/article/10.1007/s00371-024-03424-0
錄用/見(jiàn)刊時(shí)間：2024.5.13
作者列表：
1) 朱麗萍 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)系教師
2) 吳祀霖 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 碩22
3) 常憲祥 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 碩22
4) 楊逸萱 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 碩22
5) 李 軒 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 碩22
背景與動(dòng)機(jī):
群體行為識(shí)別旨在識(shí)別群體環(huán)境中的預(yù)定義人類(lèi)活動(dòng)類(lèi)別。這些行為包括簡(jiǎn)單動(dòng)作和復(fù)雜互動(dòng)，在體育和公共安全等領(lǐng)域有廣泛應(yīng)用。然而，預(yù)定義類(lèi)別在訓(xùn)練過(guò)程中存在局限性，無(wú)法涵蓋所有現(xiàn)實(shí)世界的活動(dòng)類(lèi)型。
盡管現(xiàn)有的群體行為識(shí)別模型取得了重大進(jìn)步，但在識(shí)別訓(xùn)練數(shù)據(jù)中未包含的行為方面仍存在一個(gè)顯著的挑戰(zhàn)。圖1揭示了在群體識(shí)別任務(wù)中開(kāi)集與閉集場(chǎng)景之間的差異，突出了在閉集環(huán)境下訓(xùn)練的傳統(tǒng)模型在適應(yīng)現(xiàn)實(shí)生活應(yīng)用方面的局限性。在閉集場(chǎng)景中，模型基于一組固定的類(lèi)別進(jìn)行訓(xùn)練，并假定所有遇到的行為都屬于這些預(yù)定義的類(lèi)別之一。而在開(kāi)集場(chǎng)景中，模型必須能夠識(shí)別那些在訓(xùn)練數(shù)據(jù)中未出現(xiàn)過(guò)的行為，并將它們視為新穎或未知類(lèi)別。因此，迫切需要設(shè)計(jì)一種能夠在開(kāi)集環(huán)境下運(yùn)作的群體行為識(shí)別模型，以克服傳統(tǒng)方法在處理未知類(lèi)別時(shí)遇到的固有局限。在這種情況下，開(kāi)集群體活動(dòng)識(shí)別被定義為一個(gè)計(jì)算任務(wù)，其目標(biāo)是識(shí)別和分類(lèi)群體內(nèi)的集體行為，特別是針對(duì)那些在訓(xùn)練過(guò)程中未預(yù)定義的未知行為。這一創(chuàng)新方法旨在提高群體行為識(shí)別模型在動(dòng)態(tài)多變現(xiàn)實(shí)環(huán)境中的適應(yīng)性。
圖1 封閉集和開(kāi)放集條件下群體行為識(shí)別的比較
設(shè)計(jì)與實(shí)現(xiàn):
本研究提出的開(kāi)集群體行為識(shí)別模型（OSGAR）旨在通過(guò)對(duì)視頻樣本進(jìn)行不確定性估計(jì)，以確定其中群體活動(dòng)的熟悉度。OSGAR方法主要利用嵌入的骨骼特征進(jìn)行處理，采用兩階段的流程。首先，在Evidence Aware Collection（EAC）階段，從不同尺度提取語(yǔ)義特征，并生成多組證據(jù)值。隨后，在Evidence Aware Decision（EAD）階段，利用注意力機(jī)制有選擇地聚合這些證據(jù)，最終得到能夠有效區(qū)分已知和未知類(lèi)別的不確定性結(jié)果。整體而言，OSGAR方法的目的在于應(yīng)對(duì)視頻中群體活動(dòng)的開(kāi)放性判斷問(wèn)題，通過(guò)有效利用骨骼特征提高判斷的準(zhǔn)確性和泛化能力。OSGAR的整體架構(gòu)如下圖2所示。
圖2 OSGAR的整體架構(gòu)
首先本研究針對(duì)基于RGB的識(shí)別方法常見(jiàn)的背景噪聲問(wèn)題提出了解決方案，即利用骨架數(shù)據(jù)進(jìn)行人體動(dòng)作識(shí)別。具體而言，先利用HRnet提取初始骨架信息，然后將關(guān)節(jié)類(lèi)型、時(shí)間位置和空間位置等先驗(yàn)信息嵌入到原始骨架中，生成每個(gè)個(gè)體的關(guān)節(jié)向量。這一過(guò)程利用拼接函數(shù)和前饋網(wǎng)絡(luò)結(jié)合GCN學(xué)習(xí)得到最終的關(guān)鍵點(diǎn)特征表示，公式描述如下：
其次在證據(jù)收集階段，要在在解決基于特征推斷對(duì)樣本不確定性估計(jì)的影響。該方法將群體活動(dòng)分解為個(gè)體、子群體和整體三個(gè)尺度，然后利用證據(jù)感知收集方法從每個(gè)尺度收集證據(jù)特征。在個(gè)體水平，將骨架向量組合形成個(gè)體特征，并利用 Transformer 提取時(shí)間維度批次化的空間演化特征。在子群體水平，利用個(gè)體相似性劃分子群體，并利用 Transformer 提取子群體特征。最后，將個(gè)體特征和子群體特征合并，以獲得群體特征表示。在這些階段中，Transformer 編碼器結(jié)構(gòu)都包含多頭自注意力機(jī)制，能夠捕捉同一尺度內(nèi)不同個(gè)體之間的相關(guān)性表示，從而提高了模型的泛化能力，最終群體特征計(jì)算公式描述如下：
最終在證據(jù)融合階段針對(duì)前期收集的多尺度證據(jù)，利用注意力機(jī)制將其融合然后輸出樣本的不確定度信息，與閾值相比較判斷已知類(lèi)別與未知類(lèi)別的歸屬。
實(shí)驗(yàn)結(jié)果及分析:
本文依照開(kāi)集環(huán)境要求，對(duì)現(xiàn)有對(duì)Volleyball數(shù)據(jù)集以及CAD數(shù)據(jù)集進(jìn)行了開(kāi)集劃分如下表1所示。
表1 數(shù)據(jù)集開(kāi)集分割方法
然后在V1-openset下與其他SOTA的對(duì)比結(jié)果如下表2所示。
表2 不同方法的比較
針對(duì)不同開(kāi)集方法下，在兩種分割策略下最終預(yù)測(cè)結(jié)果的比較如下圖3所示。
圖3 使用不同的開(kāi)放集識(shí)別方法預(yù)測(cè)得分的可視化比較
結(jié)論:
本文介紹了開(kāi)放集群體活動(dòng)識(shí)別的概念，并提出了一個(gè)名為OSGAR的框架，作為在實(shí)際場(chǎng)景中識(shí)別群體活動(dòng)的解決方案。OSGAR模型在不同尺度上建模群體活動(dòng)，增強(qiáng)了對(duì)群體行為的層次理解，突出了子群體的優(yōu)勢(shì)。提出的兩階段方法，即證據(jù)感知收集和證據(jù)感知決策，聚合了來(lái)自不同尺度的證據(jù)，提供可靠的不確定性預(yù)測(cè)，有效應(yīng)對(duì)了開(kāi)放集場(chǎng)景的挑戰(zhàn)。此外，本文在現(xiàn)有數(shù)據(jù)集上進(jìn)行了開(kāi)放集劃分，并證明了提出的方法在區(qū)分已知和未知類(lèi)別的同時(shí)保持高閉集識(shí)別能力方面表現(xiàn)良好。總體而言，OSGAR框架為開(kāi)放集環(huán)境中的群體活動(dòng)識(shí)別做出了有價(jià)值的貢獻(xiàn)。
作者簡(jiǎn)介:
朱麗萍，博士。中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院計(jì)算機(jī)系副教授，碩士生導(dǎo)師。目前主要研究方向是大數(shù)據(jù)和數(shù)據(jù)挖掘方向，尤其關(guān)注深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)方向上的應(yīng)用，已發(fā)表論文多篇高水平論文。
聯(lián)系方式：[email protected]