科研動(dòng)態(tài)
基于重參數(shù)化技術(shù)和互信息最大的IMRChangeMamba編碼器
中文題目：基于重參數(shù)化技術(shù)和互信息最大的IMRChangeMamba編碼器
論文題目：IMRChangeMamba Encoder Based on Reparameterization Technique and Mutual Information Maximization
錄用期刊/會(huì)議：CPCC2025 （CAA A類(lèi)會(huì)議）
錄用時(shí)間：2025.5.28
作者列表：
1)吳祎凡 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 控制科學(xué)與工程 研23級(jí)
2)劉建偉 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 教師
摘要:
1)ChangeMamba的核心設(shè)計(jì)：ChangeMamba模型基于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）和Transformer架構(gòu)，采用了Mamba編碼器，該編碼器通過(guò)狀態(tài)空間模型（SSM）有效地學(xué)習(xí)輸入圖像中的空間時(shí)間特征。與傳統(tǒng)模型的局部卷積操作不同，ChangeMamba通過(guò)狀態(tài)空間轉(zhuǎn)換，捕捉到了更多的跨時(shí)刻變化信息。然而，盡管該架構(gòu)具有一定的優(yōu)勢(shì)，但如何進(jìn)一步增強(qiáng)不同時(shí)間步特征的一致性，依舊是一個(gè)待解決的問(wèn)題。
2)在此基礎(chǔ)上，我們引入了重參數(shù)化技術(shù)和最大化互信息的概念，進(jìn)一步優(yōu)化了ChangeMamba模型的表現(xiàn)。通過(guò)這種方式，模型能夠在多個(gè)時(shí)間步驟之間保持特征的一致性，極大地提升了其對(duì)時(shí)序變化的理解能力。具體來(lái)說(shuō)，我們通過(guò)重參數(shù)化技術(shù)將不同時(shí)間步的特征映射到同一潛在空間中，然后使用互信息最大化方法來(lái)確保這些潛在特征的一致性。
3)關(guān)鍵技術(shù)——最大化互信息：在信息論中，互信息用于度量?jī)蓚€(gè)隨機(jī)變量之間共享的信息量。在我們的研究中，最大化互信息的目標(biāo)是使得不同時(shí)間步驟的特征在潛在空間中具有最大的一致性。通過(guò)這種方法，我們能夠顯著提升模型在捕捉時(shí)序變化時(shí)的穩(wěn)定性和精度，尤其是在面對(duì)復(fù)雜的變化環(huán)境時(shí)，模型能夠更好地識(shí)別出潛在的變化模式。
4)提出的IMRChangeMamba模型：首先，通過(guò)重參數(shù)化技術(shù)，我們確保了在不同時(shí)間步驟之間的潛在變量的可微性，從而使得模型在訓(xùn)練時(shí)能夠更有效地捕捉時(shí)序變化；其次，通過(guò)最大化互信息，我們強(qiáng)化了時(shí)間步之間的特征一致性，顯著提升了模型在變化檢測(cè)中的表現(xiàn)。
背景與動(dòng)機(jī):
目前，遙感變化檢測(cè)（CD）領(lǐng)域的主流模型，如卷積神經(jīng)網(wǎng)絡(luò)（CNNs）和Transformer，在一定程度上取得了顯著進(jìn)展，但也存在明顯的局限性。具體來(lái)說(shuō)，CNNs由于其接收域的限制，難以有效捕捉更廣泛的空間上下文信息；而Transformer雖然在建模長(zhǎng)距離依賴(lài)關(guān)系上具有明顯優(yōu)勢(shì)，但其高計(jì)算成本使得在大規(guī)模數(shù)據(jù)集上的訓(xùn)練和部署面臨較高的開(kāi)銷(xiāo)。近年來(lái)，基于狀態(tài)空間模型（SSM）的Mamba架構(gòu)在多種任務(wù)中取得了顯著成果，有效地克服了CNNs和Transformer的這些限制。盡管ChangeMamba架構(gòu)在遙感變化檢測(cè)中展現(xiàn)了良好的性能，尤其在時(shí)序特征和空間上下文信息的捕捉方面，但在處理多個(gè)時(shí)間步的特征時(shí)，仍然面臨如何增強(qiáng)不同時(shí)間步特征一致性的挑戰(zhàn)。具體而言，模型在不同時(shí)間步提取的特征可能存在偏差，從而導(dǎo)致信息丟失或特征不穩(wěn)定，這會(huì)影響變化區(qū)域的精確識(shí)別，尤其是在細(xì)微變化或復(fù)雜場(chǎng)景下。特征的不一致性不僅限制了潛在空間的有效表示，還增加了多時(shí)刻數(shù)據(jù)處理的難度，特別是在捕捉跨時(shí)間步的變化時(shí)更為突出。盡管現(xiàn)有的ChangeMamba模型在時(shí)序特征學(xué)習(xí)方面已有一定進(jìn)展，但缺乏有效手段對(duì)潛在空間進(jìn)行有效表征，也未通過(guò)有效的約束來(lái)確保不同時(shí)間步之間特征的一致性。因此，本研究提出了創(chuàng)新性的改進(jìn)，通過(guò)引入重參數(shù)化技術(shù)和最大化互信息的方式，來(lái)解決這一問(wèn)題，進(jìn)一步提升模型的穩(wěn)定性和準(zhǔn)確性。
主要內(nèi)容:
圖1 IMRChangeMamba結(jié)構(gòu)圖
結(jié)論:
針對(duì)遙感圖像變化檢測(cè)任務(wù)，我們通過(guò)引入重參數(shù)化技術(shù)和互信息最大化技術(shù)，改進(jìn)了原始的ChangeMamba模型，增強(qiáng)了特征在多個(gè)時(shí)間步長(zhǎng)上的一致性。這使得模型能夠更準(zhǔn)確、更穩(wěn)健地捕捉時(shí)空變化，尤其適用于復(fù)雜的城市環(huán)境。實(shí)驗(yàn)結(jié)果顯示，在二進(jìn)制變化檢測(cè)（BCD）方面，提出的IMRChangeMamba模型優(yōu)于現(xiàn)有的基于CNN和Transformer的方法。此外，該模型在處理降質(zhì)數(shù)據(jù)時(shí)也表現(xiàn)出更強(qiáng)的魯棒性。通過(guò)引入互信息損失和重參數(shù)化技術(shù)，提高了特征在不同時(shí)間步長(zhǎng)間的對(duì)齊度，從而在不采用復(fù)雜訓(xùn)練策略的情況下實(shí)現(xiàn)了更準(zhǔn)確的變化檢測(cè)。提出的IMRChangeMamba模型架構(gòu)成為遙感變化檢測(cè)的一個(gè)有前景的解決方案，并為未來(lái)的大規(guī)模應(yīng)用提供了提高效率和可擴(kuò)展性的潛力。
作者簡(jiǎn)介:
劉建偉，教師。