科研動(dòng)態(tài)

一致性與視圖特定的隱因式多視圖聚類(lèi)

日期：2021-05-10 | 訪(fǎng)問(wèn)量：

論文題目: Multi-view subspace clustering with consistent and view-specific latent factors and coefficient matrices

發(fā)表會(huì)議: The International Joint Conference on Neural Networks (IJCNN 2021)，CCF-C類(lèi)會(huì)議

作者列表:

1) 盧潤(rùn)坤中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院博16

2) 劉建偉中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院

3) 左信中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院

4) 李衛(wèi)民上海大學(xué) 計(jì)算機(jī)工程與科學(xué)學(xué)院

背景與動(dòng)機(jī)

在多視圖學(xué)習(xí)的研究工作中，子空間聚類(lèi)是一個(gè)典型的學(xué)習(xí)任務(wù)，同時(shí)也是最受研究者關(guān)注的方向之一。大部分多視圖子空間聚類(lèi)其實(shí)是基于自表示的子空間聚類(lèi)算法，這類(lèi)算法認(rèn)為，一系列子空間中的每個(gè)數(shù)據(jù)都能夠被其它數(shù)據(jù)線(xiàn)性表示。大多數(shù)現(xiàn)有的多視圖子空間聚類(lèi)算法主要關(guān)注兩個(gè)方面的信息，一是子空間表示的先驗(yàn)約束，二是隱表示的構(gòu)造形式。對(duì)于前者，對(duì)子空間表示引入不同的限制會(huì)得到不同的效果，例如，Brbi?等人在每個(gè)視圖上均進(jìn)行了自表示重構(gòu)，并為每個(gè)視圖的自表示系數(shù)矩陣同時(shí)添加了稀疏與低秩限制，之后將所得各個(gè)視圖的系數(shù)矩陣求平均，從而構(gòu)建譜聚類(lèi)所需的鄰接矩陣；Weng等人也是首先在每個(gè)視圖上均進(jìn)行了自表示重構(gòu)，但引入了拉普拉斯正則化項(xiàng)將多個(gè)系數(shù)矩陣整合為了一個(gè)一致性自表示系數(shù)矩陣，這種將整合多個(gè)系數(shù)矩陣的過(guò)程嵌入至學(xué)習(xí)流程中的方式更具解釋性。此外，關(guān)于隱表示的構(gòu)造形式，研究者往往嘗試挖掘各個(gè)視圖間潛在的互補(bǔ)性與一致性信息，獲取更加完備且不冗余的隱表示，從而提升學(xué)習(xí)任務(wù)的性能。例如，Chen等人提出的工作可以獲得多個(gè)視圖中的互補(bǔ)性嵌入隱表示；Zheng等人首先將所有視圖的數(shù)據(jù)拼接，并用稀疏誘導(dǎo)范數(shù)約束自表示重構(gòu)項(xiàng)中的噪聲從而可以使模型能夠利用到各個(gè)視圖間潛在的一致性信息。相比于學(xué)習(xí)更完備的隱表示，大多數(shù)工作將注意力集中于子空間表示的先驗(yàn)約束與學(xué)習(xí)過(guò)程。然而，基于自表示的子空間聚類(lèi)算法的表現(xiàn)依賴(lài)于數(shù)據(jù)表示的質(zhì)量，多數(shù)子空間聚類(lèi)算法都假設(shè)數(shù)據(jù)表示分布良好，不符合真實(shí)數(shù)據(jù)集的實(shí)際情況。因此，在子空間自表示學(xué)習(xí)的過(guò)程中引入表示學(xué)習(xí)很有意義，其不僅能為子空間聚類(lèi)提供好的表示，也能利用子空間學(xué)習(xí)任務(wù)更好的挖掘數(shù)據(jù)的潛在信息。

本文基于以上動(dòng)機(jī)，提出了一種能夠同時(shí)挖掘并分離多個(gè)視圖中相互耦合的一致性與互補(bǔ)性隱表示的矩陣因式分解方法。其中，一致性表示指所有視圖共享的信息，互補(bǔ)性表示則是各個(gè)視圖獨(dú)有的卻能夠互相彌補(bǔ)其余視圖信息缺失的特有信息?；诖?，本章進(jìn)一步提出一種子空間學(xué)習(xí)策略-子空間級(jí)分層策略：基于一致性與視圖特有隱因子與子空間的多視圖子空間聚類(lèi)（Multi-View Subspace Clustering with Consistent and view-Specific Latent Factors and Subspaces，MVSC-CSLFS）。MVSC-CSLFS為不同視圖的一致性與互補(bǔ)性表示設(shè)計(jì)了不同自表示重構(gòu)方法，即分別用Frobenius范數(shù)與核范數(shù)來(lái)約束互補(bǔ)性與一致性隱表示對(duì)應(yīng)的子空間表示矩陣，此方法通過(guò)為不同性質(zhì)的隱表示設(shè)計(jì)更合適的子空間聚類(lèi)策略，從而獲取更佳的聚類(lèi)效果。此外，本章還為提出的方法引入了自適應(yīng)的動(dòng)態(tài)權(quán)重，從而可以在不同學(xué)習(xí)階段衡量各個(gè)視圖對(duì)學(xué)習(xí)的貢獻(xiàn)，該機(jī)制也可以提升模型抵抗噪聲和不可靠視圖所帶來(lái)的影響。最后，本章將采用基于增廣拉格朗日乘子的交替方向最小化算法來(lái)求解我們提出的模型，并通過(guò)與多種基準(zhǔn)算法在大量的真實(shí)數(shù)據(jù)集中的對(duì)比來(lái)驗(yàn)證所提出算法的效果。本章研究的主要貢獻(xiàn)如下所示：

（1）通過(guò)同時(shí)考慮多個(gè)視圖的一致性與互補(bǔ)性信息，我們提出的隱因子提取算法能夠幫助MVSC-CSLFS獲取更加緊湊且完備的隱表示，且能將隱表示中這些耦合的信息分離，使隱表式有更為明確的語(yǔ)義信息。

（2）MVSC-CSLFS對(duì)不同屬性隱式因子對(duì)應(yīng)的子空間表示使用不同的先驗(yàn)約束，因此能夠?qū)橄鄳?yīng)的隱表式設(shè)計(jì)符合其語(yǔ)義信息的子空間聚類(lèi)策略。

（3）為了消除不可靠視圖帶來(lái)的影響，同時(shí)在學(xué)習(xí)中能夠衡量不同視圖的貢獻(xiàn)，本章在表示學(xué)習(xí)階段和子空間聚類(lèi)階段均引入了動(dòng)態(tài)權(quán)重策略。

設(shè)計(jì)與實(shí)現(xiàn)

本文提出的矩陣因式化過(guò)程如下圖所示：

目標(biāo)函數(shù)為：

實(shí)驗(yàn)結(jié)果:

1. 收斂性分析

2. 鄰接矩陣可視化

3. 聚類(lèi)效果

4. 消融分析

作者簡(jiǎn)介