科研動(dòng)態(tài)
移動(dòng)邊緣計(jì)算中隱私保護(hù)的任務(wù)卸載方法：一種基于深度強(qiáng)化學(xué)習(xí)的方法
中文題目：移動(dòng)邊緣計(jì)算中隱私保護(hù)的任務(wù)卸載方法：一種基于深度強(qiáng)化學(xué)習(xí)的方法
論文題目：Privacy-preserving task offloading in mobile edge computing: A deep reinforcement learning approach
錄用期刊/會(huì)議：Software: Practice and Experience (CCF B, JCR Q2)
原文DOI：10.1002/spe.3314
原文鏈接：https://onlinelibrary.wiley.com/doi/10.1002/spe.3314
錄用/見(jiàn)刊時(shí)間：2024年01月23日
作者列表：
1） 夏方略 中國(guó)石油大學(xué)（北京） 信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè) 碩21
2） 陳 瑩 北京信息科技大學(xué) 計(jì)算機(jī)學(xué)院 教授
3） 黃霽崴 中國(guó)石油大學(xué)（北京） 信息科學(xué)與工程學(xué)院/人工智能學(xué)院 教授
隨著機(jī)器學(xué)習(xí)技術(shù)的不斷演進(jìn)，對(duì)訓(xùn)練數(shù)據(jù)的需求也在不斷上升。通過(guò)移動(dòng)群智感知的方式，從大量的終端用戶(hù)中收集數(shù)據(jù)，能夠有效改善模型性能與泛用性。然而，用戶(hù)也會(huì)關(guān)注數(shù)據(jù)的隱私性，不愿意輕易提供隱私數(shù)據(jù)。因此，隱私保護(hù)是一個(gè)非常關(guān)鍵的問(wèn)題。在機(jī)器學(xué)習(xí)中，聯(lián)邦學(xué)習(xí)是一種常見(jiàn)的隱私保護(hù)方法，其通過(guò)在數(shù)據(jù)所有者本地完成模型訓(xùn)練過(guò)程的方式來(lái)保護(hù)隱私。然而，考慮到移動(dòng)用戶(hù)終端設(shè)備的計(jì)算能力與電池續(xù)航有限，隨著模型復(fù)雜度的上升，這些設(shè)備無(wú)法支撐大量的模型訓(xùn)練計(jì)算任務(wù)。隨著移動(dòng)邊緣計(jì)算技術(shù)的發(fā)展，用戶(hù)能夠?qū)⒛Ｐ陀?xùn)練計(jì)算任務(wù)卸載到邊緣服務(wù)器中，通過(guò)用戶(hù)設(shè)備、邊緣服務(wù)器同時(shí)訓(xùn)練的方式加速訓(xùn)練過(guò)程。然而，邊緣服務(wù)器并非完全可行，在隱私數(shù)據(jù)上傳與訓(xùn)練的過(guò)程中仍然會(huì)有隱私泄漏風(fēng)險(xiǎn)。為了解決這一問(wèn)題，本文建立了一個(gè)使用移動(dòng)邊緣計(jì)算的分布式機(jī)器學(xué)習(xí)系統(tǒng)，建立了系統(tǒng)模型，設(shè)計(jì)了基于本地差分隱私的隱私保護(hù)算法，并提出了基于深度強(qiáng)化學(xué)習(xí)的任務(wù)卸載算法。上述算法不僅可以加速機(jī)器學(xué)習(xí)模型訓(xùn)練過(guò)程，還可以保護(hù)用戶(hù)隱私并節(jié)約用戶(hù)電量。最后，本文通過(guò)實(shí)驗(yàn)的方式驗(yàn)證了上述算法的有效性。
通過(guò)移動(dòng)群智感知的方式從大量的用戶(hù)移動(dòng)終端中收集數(shù)據(jù)，能夠有效改善模型的性能與泛用性。然而，傳統(tǒng)的機(jī)器學(xué)習(xí)方法會(huì)將用戶(hù)數(shù)據(jù)上傳到云服務(wù)器中，不利于保護(hù)用戶(hù)隱私。同時(shí)，聯(lián)邦學(xué)習(xí)雖然能保護(hù)隱私，但用戶(hù)設(shè)備的計(jì)算能力有限。因此，需要一種同時(shí)兼顧隱私性與效率的方法。
本文首先對(duì)本文首先提出了一個(gè)使用移動(dòng)邊緣計(jì)算的隱私保護(hù)分布式機(jī)器學(xué)習(xí)系統(tǒng)，該系統(tǒng)由多臺(tái)用戶(hù)移動(dòng)終端設(shè)備、多臺(tái)邊緣服務(wù)器、單臺(tái)云服務(wù)器組成。上述系統(tǒng)的工作流程如圖1所示，首先用戶(hù)會(huì)采集數(shù)據(jù)，然后在用戶(hù)設(shè)備與邊緣服務(wù)器同時(shí)進(jìn)行機(jī)器學(xué)習(xí)模型訓(xùn)練過(guò)程，最后在云服務(wù)器聚合全局模型。
圖1 系統(tǒng)工作流程
為了解決數(shù)據(jù)傳輸與模型訓(xùn)練過(guò)程中的隱私保護(hù)問(wèn)題，本文提出了一種基于本地差分隱私的隱私保護(hù)算法（LDP-PDG），會(huì)通過(guò)拉普拉斯機(jī)制保護(hù)數(shù)據(jù)隱私性，能提供?-DP。算法流程示意圖如圖2所示。
圖2 隱私保護(hù)算法工作流程
然后，本文對(duì)上述分布式機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練任務(wù)排隊(duì)過(guò)程、隱私保護(hù)傳輸過(guò)程、機(jī)器學(xué)習(xí)訓(xùn)練過(guò)程、移動(dòng)設(shè)備電量消耗過(guò)程進(jìn)行建模，將任務(wù)卸載的優(yōu)化問(wèn)題規(guī)約為：
為了優(yōu)化上述分布式機(jī)器學(xué)習(xí)系統(tǒng)的性能，本文針對(duì)移動(dòng)邊緣計(jì)算中的任務(wù)卸載問(wèn)題提出了一種基于深度強(qiáng)化學(xué)習(xí)的優(yōu)化算法（DRL-PCO），通過(guò)Actor與Critic的雙網(wǎng)絡(luò)方式學(xué)習(xí)知識(shí)。該算法的架構(gòu)圖如圖3所示。
圖3 任務(wù)卸載算法架構(gòu)圖
實(shí)驗(yàn)結(jié)果及分析:
在實(shí)驗(yàn)中，本文采取了平均訓(xùn)練計(jì)算量、訓(xùn)練任務(wù)丟棄量、移動(dòng)設(shè)備平均能耗三個(gè)指標(biāo)，將本文提出的方法與DDPG算法、貪心算法（GA）、聯(lián)邦學(xué)習(xí)（FL）方法進(jìn)行對(duì)比。
首先進(jìn)行的是相同邊緣服務(wù)器數(shù)量與用戶(hù)移動(dòng)終端設(shè)備下的對(duì)比，可以看出本文提出的方法優(yōu)勢(shì)明顯
圖4 平均訓(xùn)練計(jì)算量（相同用戶(hù)數(shù)量與邊緣服務(wù)器數(shù)量）
圖5 訓(xùn)練任務(wù)丟棄量（相同用戶(hù)數(shù)量與邊緣服務(wù)器數(shù)量）
圖6 移動(dòng)設(shè)備平均能耗（相同用戶(hù)數(shù)量與邊緣服務(wù)器數(shù)量）
然后，還對(duì)比了不同邊緣服務(wù)器下的情況，通過(guò)箱線(xiàn)圖來(lái)展示數(shù)據(jù)。
圖7 平均訓(xùn)練計(jì)算量（不同邊緣服務(wù)器數(shù)量）
圖8 訓(xùn)練任務(wù)丟棄量（不同邊緣服務(wù)器數(shù)量）
圖9 移動(dòng)設(shè)備平均能耗（不同邊緣服務(wù)器數(shù)量）
最后，還比較了不同用戶(hù)對(duì)算法性能造成的影響，也使用了箱線(xiàn)圖展示數(shù)據(jù)。
圖10 平均訓(xùn)練計(jì)算量（不同用戶(hù)數(shù)量）
圖11 訓(xùn)練任務(wù)丟棄量（不同用戶(hù)數(shù)量）
圖12 移動(dòng)設(shè)備平均能耗（不同用戶(hù)數(shù)量）
通過(guò)上述實(shí)驗(yàn)，可以看出本文提出的方法能夠滿(mǎn)足不同場(chǎng)景下的性能需求，在絕大多數(shù)場(chǎng)景下都顯著優(yōu)于對(duì)比算法。
雖然近些年聯(lián)邦學(xué)習(xí)已經(jīng)成為了隱私保護(hù)機(jī)器學(xué)習(xí)的主流選擇，但用戶(hù)設(shè)備的計(jì)算性能限制了它的使用場(chǎng)景。為了在減輕用戶(hù)設(shè)備的計(jì)算壓力的同時(shí)保護(hù)用戶(hù)隱私，本文提出了一個(gè)結(jié)合移動(dòng)邊緣計(jì)算的分布式機(jī)器學(xué)習(xí)系統(tǒng)。同時(shí)，本文設(shè)計(jì)了一個(gè)基于本地差分隱私的隱私保護(hù)算法與一個(gè)基于深度強(qiáng)化學(xué)習(xí)的任務(wù)卸載算法，能同時(shí)增強(qiáng)隱私與效率。最后，本文通過(guò)實(shí)驗(yàn)證明了本文算法的性能，它在計(jì)算性能與用戶(hù)設(shè)備能耗中取得了較好的平衡。
黃霽崴，教授，博士生導(dǎo)師，中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院副院長(zhǎng)，石油數(shù)據(jù)挖掘北京市重點(diǎn)實(shí)驗(yàn)室主任。入選北京市優(yōu)秀人才、北京市科技新星、北京市國(guó)家治理青年人才、昌聚工程青年人才、中國(guó)石油大學(xué)（北京）優(yōu)秀青年學(xué)者。本科和博士畢業(yè)于清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系，美國(guó)佐治亞理工學(xué)院聯(lián)合培養(yǎng)博士生。研究方向包括：物聯(lián)網(wǎng)、服務(wù)計(jì)算、邊緣智能等。已主持國(guó)家自然科學(xué)基金、國(guó)家重點(diǎn)研發(fā)計(jì)劃、北京市自然科學(xué)基金等科研項(xiàng)目18項(xiàng)；以第一/通訊作者在國(guó)內(nèi)外著名期刊和會(huì)議發(fā)表學(xué)術(shù)論文60余篇，其中1篇獲得中國(guó)科協(xié)優(yōu)秀論文獎(jiǎng)，2篇入選ESI熱點(diǎn)論文，4篇入選ESI高被引論文；出版學(xué)術(shù)專(zhuān)著1部；獲得國(guó)家發(fā)明專(zhuān)利6項(xiàng)、軟件著作權(quán)4項(xiàng)；獲得中國(guó)通信學(xué)會(huì)科學(xué)技術(shù)一等獎(jiǎng)1項(xiàng)、中國(guó)產(chǎn)學(xué)研合作創(chuàng)新成果一等獎(jiǎng)1項(xiàng)、廣東省計(jì)算機(jī)學(xué)會(huì)科學(xué)技術(shù)二等獎(jiǎng)1項(xiàng)。擔(dān)任中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)服務(wù)計(jì)算專(zhuān)委會(huì)委員、秘書(shū)，CCF和IEEE高級(jí)會(huì)員，電子學(xué)報(bào)、Chinese Journal of Electronics、Scientific Programming等期刊編委。