大发888游戏平台下载-博客市网站-亚洲太阳开户送98元-正规皇冠投注网

中文題目：動(dòng)態(tài)學(xué)習(xí)環(huán)境中遷移專(zhuān)家場(chǎng)景的PlipPlop算法 

論文題目：The PlipPlop algorithm for migrating expert scenarios in dynamic learning environments

錄用期刊/會(huì)議：CCC2025 （CAA A類(lèi)會(huì)議）

錄用時(shí)間：2025.1.2

作者列表：

1)宋宇 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 教師

2)周佳佳 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 控制科學(xué)與工程 研18級(jí)

3)代思怡 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 控制科學(xué)與工程 研23級(jí)

4)劉建偉 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 教師

摘要:

首先，我們選擇相對(duì)熵?fù)p失函數(shù)作為自適應(yīng)權(quán)值動(dòng)態(tài)更新工具，用于獲取遷移專(zhuān)家學(xué)習(xí)場(chǎng)景的后悔上界。 其次，參考在線(xiàn)觸發(fā)器算法的討論，推導(dǎo)了如何自適應(yīng)地動(dòng)態(tài)調(diào)整學(xué)習(xí)速率。我們也得到了學(xué)習(xí)率的上界。 最后將學(xué)習(xí)率的上界轉(zhuǎn)化為后悔函數(shù)的上界，討論了如何在后悔函數(shù)上得到一個(gè)更小的上界，實(shí)現(xiàn)超參數(shù)的自適應(yīng)調(diào)整。 

主要內(nèi)容:

定理:假定, ,

這里,

Theorem 10: 假定, 權(quán)重 服從： 

這里

比較序列具有k次遷移: 

權(quán)值更新算法

具有下列后悔上界:

這里,

 

結(jié)論:

本文將2014年De Rooij等人提出的在線(xiàn)觸發(fā)器算法應(yīng)用于遷移專(zhuān)家，討論了學(xué)習(xí)率的優(yōu)化和調(diào)整對(duì)學(xué)習(xí)效果的影響。遷移專(zhuān)家場(chǎng)景在不同的區(qū)域有不同的模型，所以我們首先使用混合權(quán)重更新公式來(lái)討論在線(xiàn)學(xué)習(xí)中的遷移場(chǎng)景，通過(guò)混合前一刻的權(quán)重，很大程度上可以減少遷移帶來(lái)的損失，從而得到一個(gè)新的誤差上界。混合權(quán)重更新公式可以解決稀疏復(fù)雜模型的問(wèn)題，該方法對(duì)許多真實(shí)數(shù)據(jù)集非常有效。同時(shí)，考慮到在遷移場(chǎng)景中，很難在不同的學(xué)習(xí)階段給出一個(gè)最優(yōu)的學(xué)習(xí)速率，在線(xiàn)觸發(fā)器算法可以通過(guò)調(diào)整相同概率分布產(chǎn)生的數(shù)據(jù)或不同概率分布產(chǎn)生的數(shù)據(jù)的學(xué)習(xí)率來(lái)獲得更好的學(xué)習(xí)效果，因此，觸發(fā)器算法為本文的討論提供了完整的理論基礎(chǔ)。我們討論了損失函數(shù)和近似損失函數(shù)之間的差來(lái)設(shè)置學(xué)習(xí)率的切換條件，學(xué)習(xí)率可以實(shí)時(shí)地選擇和切換，以實(shí)現(xiàn)遷移專(zhuān)家場(chǎng)景中學(xué)習(xí)率的調(diào)整。實(shí)驗(yàn)結(jié)果進(jìn)一步驗(yàn)證了將觸發(fā)器算法應(yīng)用于遷移專(zhuān)家在線(xiàn)學(xué)習(xí)，可以獲得更小的后悔上界。

作者簡(jiǎn)介:

劉建偉，教師。