科研動(dòng)態(tài)
基于擴(kuò)散模型和知識(shí)蒸餾技術(shù)的時(shí)間序列插補(bǔ)方法
中文題目：基于擴(kuò)散模型和知識(shí)蒸餾技術(shù)的時(shí)間序列插補(bǔ)方法
論文題目：Diffusion Modeling and Transformer Knowledge Distillation Techniques for Time Series Imputation
錄用期刊/會(huì)議：2024中國(guó)自動(dòng)化大會(huì) （CAA A類(lèi)會(huì)議）
錄用時(shí)間：2024.9.20
作者列表：
1) 阮丹靈 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 控制工程 碩22級(jí)
2) 劉建偉 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 教師
摘要:
近年來(lái)，大數(shù)據(jù)分析十分熱門(mén)，但數(shù)據(jù)在收集、存儲(chǔ)等過(guò)程中常常會(huì)出現(xiàn)缺失的現(xiàn)象，進(jìn)而影響到數(shù)據(jù)分析的效果。因此，本文提出用擴(kuò)散模型來(lái)插補(bǔ)時(shí)間序列的缺失值，并且加入了Transformer結(jié)構(gòu)來(lái)捕捉時(shí)間序列數(shù)據(jù)中的復(fù)雜依賴(lài)關(guān)系，為了提高插補(bǔ)的準(zhǔn)確性，還將知識(shí)蒸餾用于擴(kuò)散模型的逆向過(guò)程。我們?cè)卺t(yī)療數(shù)據(jù)集和空氣質(zhì)量數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，比較了不同缺失值占比的情況下，模型的表現(xiàn)。結(jié)果表明，我們的模型在三個(gè)評(píng)價(jià)指標(biāo)上均優(yōu)于其他模型。
背景與動(dòng)機(jī):
近年來(lái)，大量的數(shù)據(jù)被用于分析和決策，許多領(lǐng)域用時(shí)間序列數(shù)據(jù)進(jìn)行預(yù)測(cè)分析，例如，預(yù)測(cè)股票的價(jià)格，預(yù)測(cè)天氣，預(yù)測(cè)醫(yī)療診斷，預(yù)測(cè)實(shí)時(shí)交通。但是收集的數(shù)據(jù)往往會(huì)存在缺失，時(shí)間序列數(shù)據(jù)的不完整會(huì)導(dǎo)致時(shí)間序列的建模出現(xiàn)偏差，進(jìn)而影響到對(duì)時(shí)間序列數(shù)據(jù)分析的結(jié)果不準(zhǔn)確，因此對(duì)時(shí)間序列的缺失值的處理也成為一個(gè)很重要的問(wèn)題。缺失值的常用處理方法通常有刪除法和插補(bǔ)法兩種，但是刪除會(huì)導(dǎo)致數(shù)據(jù)一些分布特征的丟失，對(duì)后續(xù)的時(shí)間序列數(shù)據(jù)的處理造成不良影響，所以如何用更準(zhǔn)確的方法來(lái)對(duì)缺失數(shù)據(jù)進(jìn)行填補(bǔ)是目前的熱點(diǎn)問(wèn)題。
主要內(nèi)容:
本文選取了擴(kuò)散模型作為時(shí)間序列缺失值插補(bǔ)的基礎(chǔ)模型，并且在此基礎(chǔ)上加入了Transformer和知識(shí)蒸餾，將其作為擴(kuò)散模型反向去噪過(guò)程的一部分。用Transformer來(lái)捕捉時(shí)間序列之間的特征依賴(lài)和時(shí)間依賴(lài)關(guān)系。用知識(shí)蒸餾來(lái)指導(dǎo)去噪過(guò)程，將學(xué)生模型的去噪函數(shù)作為擴(kuò)散模型的去噪函數(shù)，將學(xué)生模型和教師模型之間的預(yù)測(cè)噪聲的差作為知識(shí)蒸餾的損失函數(shù)，并且將知識(shí)蒸餾的損失函數(shù)作為總損失函數(shù)的正則化項(xiàng)。將模型用于醫(yī)療和空氣質(zhì)量數(shù)據(jù)集，并且和基線(xiàn)進(jìn)行比較實(shí)驗(yàn)，得到本文的模型插補(bǔ)的準(zhǔn)確率大于基線(xiàn)的準(zhǔn)確率。最后，討論了本文的優(yōu)勢(shì)和不足之處，并且提出了之后應(yīng)該如何改進(jìn)。
圖2. 基于擴(kuò)散模型和知識(shí)蒸餾的插補(bǔ)模型結(jié)構(gòu)圖
結(jié)論:
本文提出了一種擴(kuò)散模型和知識(shí)蒸餾的時(shí)間序列插補(bǔ)的模型框架。該框架通過(guò)在擴(kuò)散模型的反向過(guò)程中加入transformer，捕捉時(shí)間序列數(shù)據(jù)中的復(fù)雜依賴(lài)關(guān)系，提高模型的表現(xiàn)能力。通過(guò)引入條件信息，Transformer在去噪過(guò)程中能夠考慮更多的上下文信息，從而提高預(yù)測(cè)精度。通過(guò)學(xué)習(xí)教師模型的預(yù)測(cè)，學(xué)生模型能夠更快地收斂并獲得更高的預(yù)測(cè)精度。此外，我們?cè)卺t(yī)療和空氣質(zhì)量數(shù)據(jù)上做了對(duì)比實(shí)驗(yàn)。結(jié)果表明，本文提出的框架更能準(zhǔn)確的填補(bǔ)時(shí)間序列的缺失值，插補(bǔ)準(zhǔn)確性更強(qiáng)。我們的研究仍有改進(jìn)的余地。目前的研究?jī)H僅在擴(kuò)散模型反向過(guò)程中加入了最簡(jiǎn)單的知識(shí)蒸餾方法，未來(lái)的工作可以嘗試更為復(fù)雜的知識(shí)蒸餾，并將其應(yīng)用在擴(kuò)散模型的不同環(huán)節(jié)。
作者簡(jiǎn)介:
劉建偉，教師，學(xué)者。