科研動(dòng)態(tài)
面向邊緣計(jì)算推薦系統(tǒng)的聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制設(shè)計(jì)
中文題目：面向邊緣計(jì)算推薦系統(tǒng)的聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制設(shè)計(jì)
論文題目：Incentive Mechanism Design of Federated Learning for Recommendation Systems in MEC
錄用期刊/會(huì)議：IEEE Transactions on Consumer Electronics (中科院大類(lèi)2區(qū)，JCR Q2)
原文DOI：10.1109/TCE.2023.3342187
原文鏈接：https://ieeexplore.ieee.org/abstract/document/10356897
錄用/見(jiàn)刊時(shí)間：2023-12-13
作者列表：
1）黃霽崴 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 教授
2）馬博聞 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè) 碩21
3）王 名 中國(guó)聯(lián)通 工程師
4）Xiaokang Zhou Shiga University Faculty of Data Science Associate Professor
5）Lina Yao CSIRO's Data61 Senior Principal Research Scientist
6）Shoujin Wang University of Technology Sydney Data Science Institute Lecturer
7）齊連永 中國(guó)石油大學(xué)（華東）計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 教授
8）陳 瑩 北京信息科技大學(xué) 計(jì)算機(jī)學(xué)院 教授
摘要:
隨著消費(fèi)電子產(chǎn)品和通信技術(shù)的快速發(fā)展，網(wǎng)絡(luò)邊緣的終端用戶(hù)產(chǎn)生了大量數(shù)據(jù)，現(xiàn)代推薦系統(tǒng)充分利用這些數(shù)據(jù)來(lái)訓(xùn)練各種人工智模型。然而，傳統(tǒng)的集中式模型訓(xùn)練必須將所有數(shù)據(jù)傳輸?shù)皆贫朔?wù)器，存在隱私泄露和資源短缺的問(wèn)題。因此，移動(dòng)邊緣計(jì)算（MEC）與聯(lián)邦學(xué)習(xí)相結(jié)合被認(rèn)為是解決這些問(wèn)題的一種有前途的模式。智能設(shè)備可以為聯(lián)邦學(xué)習(xí)提供數(shù)據(jù)和計(jì)算資源，并將本地模型參數(shù)傳輸?shù)脚鋫溥吘壏?wù)器的基站，以聚合成一個(gè)全局模型。然而，由于物理資源有限和隱私泄露的風(fēng)險(xiǎn)，用戶(hù)并不愿意自愿參與聯(lián)邦學(xué)習(xí)。為解決這一問(wèn)題，本文利用博弈論提出了一種基于兩階段Stackelberg博弈的激勵(lì)機(jī)制，以激勵(lì)用戶(hù)為聯(lián)邦學(xué)習(xí)貢獻(xiàn)計(jì)算資源。本文為用戶(hù)和基站定義了兩個(gè)效用函數(shù)，并提出了效用最大化問(wèn)題。通過(guò)理論分析，得到了用戶(hù)的納什均衡策略和效用最大化問(wèn)題的Stackelberg均衡。此外，本文還提出了一種基于博弈的激勵(lì)機(jī)制算法（GIMA）來(lái)實(shí)現(xiàn)Stackelberg均衡。最后，本文提供了仿真結(jié)果來(lái)驗(yàn)證GIMA算法的性能。實(shí)驗(yàn)結(jié)果表明，與其他激勵(lì)方法相比，本文提出的算法收斂速度快，能獲得更高的效用值。
背景與動(dòng)機(jī):
在本文中，為了激勵(lì)用戶(hù)貢獻(xiàn)更多計(jì)算資源以提高聯(lián)邦學(xué)習(xí)模型的性能，本文利用博弈論將基站和用戶(hù)之間的聯(lián)邦學(xué)習(xí)培訓(xùn)建模為一個(gè)兩階段的Stackelberg博弈，其中基站是領(lǐng)導(dǎo)者，用戶(hù)是追隨者。配備服務(wù)器的基站發(fā)起聯(lián)邦學(xué)習(xí)任務(wù)并支付費(fèi)用。基站覆蓋范圍內(nèi)的用戶(hù)通過(guò)貢獻(xiàn)計(jì)算資源和本地?cái)?shù)據(jù)樣本參與聯(lián)邦學(xué)習(xí)?；竞陀脩?hù)的目標(biāo)是最大化各自的效用。本文從理論上分析了效用最大化問(wèn)題的Stackelberg均衡的存在性，并提出了一種基于博弈的激勵(lì)機(jī)制算法（GIMA）來(lái)解決用戶(hù)和基站的效用最大化問(wèn)題。
主要內(nèi)容:
本文考慮蜂窩網(wǎng)絡(luò)環(huán)境下推薦系統(tǒng)的典型聯(lián)邦學(xué)習(xí)場(chǎng)景，如圖1所示。它由一個(gè)帶有邊緣服務(wù)器的基站和多個(gè)用戶(hù)組成。每個(gè)用戶(hù)使用本地原始數(shù)據(jù)訓(xùn)練自己的本地推薦模型。然后，只將局部模型的參數(shù)上傳到邊緣服務(wù)器進(jìn)行聚合，即可獲得全局模型。最后，聚合的全局模型被發(fā)送回用戶(hù)設(shè)備進(jìn)行推理和下一次迭代訓(xùn)練。
圖1 MEC中推薦系統(tǒng)的聯(lián)邦學(xué)習(xí)系統(tǒng)模型
本文定義了基站和用戶(hù)的效用函數(shù)，隨后提出兩階段Stackelberg博弈框架來(lái)捕獲參與聯(lián)邦學(xué)習(xí)的各方之間的復(fù)雜互動(dòng)?；拘枰獩Q定一個(gè)適當(dāng)?shù)募?lì)方式來(lái)吸引用戶(hù)參與，以獲得高質(zhì)量的模型。用戶(hù)需要決定他們的參與程度，以最大化他們的效用。因此，優(yōu)化問(wèn)題可表示為
隨后證明了納什均衡的存在性以及Stackelberg均衡的存在，并且提出了一種基于博弈的激勵(lì)機(jī)制算法（GIMA）來(lái)實(shí)現(xiàn)Stackelberg均衡，算法偽代碼如下所示：
實(shí)驗(yàn)結(jié)果及分析:
從圖2可以看出，基站和用戶(hù)存在唯一的Stackelberg均衡策略。為了驗(yàn)證唯一Stackelberg均衡的存在性，在用戶(hù)數(shù)量和用戶(hù)策略固定的情況下，將支付從0變化到50?；镜男в们€(xiàn)呈凸形，曲線(xiàn)最高點(diǎn)為Stackelberg均衡的最佳響應(yīng)。本文還驗(yàn)證了用戶(hù)間的唯一納什均衡，對(duì)于每個(gè)用戶(hù)根據(jù)其他用戶(hù)和基站支付的固定策略改變頻率。值得注意的是，每個(gè)用戶(hù)的效用曲線(xiàn)都是凸的。在這種情況下，用戶(hù)可以通過(guò)確定計(jì)算資源的策略來(lái)最大化效用。
圖2 納什均衡及Stackelberg均衡
圖3顯示了基站和用戶(hù)的效用變化情，展示了不同用戶(hù)數(shù)下Random算法、GIMA算法和Fix算法效用。本文提出的的GIMA算法的基站效用是三種算法中最大的。隨著用戶(hù)數(shù)量的增加，GIMA算法與其他兩種算法之間的效用差距越來(lái)越大。此外，GIMA算法的增長(zhǎng)速度比線(xiàn)性增長(zhǎng)慢。實(shí)際上，隨著用戶(hù)數(shù)量的進(jìn)一步增加，越來(lái)越多的用戶(hù)參與到聯(lián)邦學(xué)習(xí)訓(xùn)練中，基站可以獲得大量的計(jì)算資源。但是，為了獲得最大的效用，基站所需的計(jì)算資源量會(huì)趨于穩(wěn)定。此外，隨著用戶(hù)數(shù)量的增加，用戶(hù)的平均效用減少。這是因?yàn)殡S著用戶(hù)數(shù)量的增加，參與聯(lián)邦學(xué)習(xí)訓(xùn)練的用戶(hù)越來(lái)越多，而獎(jiǎng)勵(lì)的增長(zhǎng)速度卻持平。因此，用戶(hù)的平均效用變小?？梢悦黠@看出，GIMA算法的基站效用是三種算法中最大的，GIMA算法與另外兩種算法的用戶(hù)平均效用差距越來(lái)越大。
圖3 不同用戶(hù)數(shù)量下的基站效用及用戶(hù)平均效用
結(jié)論:
本文研究了一種與聯(lián)邦學(xué)習(xí)合作的MEC系統(tǒng)，用于基站覆蓋范圍內(nèi)的推薦系統(tǒng)?；居袃敯l(fā)布聯(lián)邦學(xué)習(xí)任務(wù)，用戶(hù)通過(guò)貢獻(xiàn)計(jì)算資源和本地?cái)?shù)據(jù)競(jìng)爭(zhēng)獲利。本文為用戶(hù)和基站設(shè)計(jì)了兩個(gè)效用函數(shù)，還將效用最大化問(wèn)題表述為兩階段Stackelberg博弈，并從理論上證明了Stackelberg均衡的存在。然后，本文提出了GIMA算法，以在有限的迭代次數(shù)內(nèi)獲得用戶(hù)和基站的均衡策略。通過(guò)模擬實(shí)驗(yàn)說(shuō)明，與其他激勵(lì)方法相比，GIMA算法能快速收斂并獲得更高的效用值。在今后的工作中，我們將考慮數(shù)據(jù)新鮮度的影響，鼓勵(lì)用戶(hù)提供新鮮數(shù)據(jù)，以訓(xùn)練出更精確的模型。我們將進(jìn)一步考慮數(shù)據(jù)樣本不足的問(wèn)題，并研究聯(lián)邦學(xué)習(xí)的自適應(yīng)激勵(lì)機(jī)制框架。此外，我們還將從經(jīng)濟(jì)學(xué)角度探索各種激勵(lì)機(jī)制設(shè)計(jì)方法，如反向拍賣(mài)等。
通訊作者簡(jiǎn)介:
黃霽崴，教授，博士生導(dǎo)師，中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院副院長(zhǎng)，石油數(shù)據(jù)挖掘北京市重點(diǎn)實(shí)驗(yàn)室主任。入選北京市優(yōu)秀人才、北京市科技新星、北京市國(guó)家治理青年人才、昌聚工程青年人才、中國(guó)石油大學(xué)（北京）優(yōu)秀青年學(xué)者。本科和博士畢業(yè)于清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系，美國(guó)佐治亞理工學(xué)院聯(lián)合培養(yǎng)博士生。研究方向包括：物聯(lián)網(wǎng)、服務(wù)計(jì)算、邊緣智能等。已主持國(guó)家自然科學(xué)基金、國(guó)家重點(diǎn)研發(fā)計(jì)劃、北京市自然科學(xué)基金等科研項(xiàng)目18項(xiàng)；以第一/通訊作者在國(guó)內(nèi)外著名期刊和會(huì)議發(fā)表學(xué)術(shù)論文60余篇，其中1篇獲得中國(guó)科協(xié)優(yōu)秀論文獎(jiǎng)，2篇入選ESI熱點(diǎn)論文，4篇入選ESI高被引論文；出版學(xué)術(shù)專(zhuān)著1部；獲得國(guó)家發(fā)明專(zhuān)利6項(xiàng)、軟件著作權(quán)4項(xiàng)；獲得中國(guó)通信學(xué)會(huì)科學(xué)技術(shù)一等獎(jiǎng)1項(xiàng)、中國(guó)產(chǎn)學(xué)研合作創(chuàng)新成果一等獎(jiǎng)1項(xiàng)、廣東省計(jì)算機(jī)學(xué)會(huì)科學(xué)技術(shù)二等獎(jiǎng)1項(xiàng)。擔(dān)任中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)服務(wù)計(jì)算專(zhuān)委會(huì)委員、秘書(shū)，CCF和IEEE高級(jí)會(huì)員，電子學(xué)報(bào)、Chinese Journal of Electronics、Scientific Programming等期刊編委。