科研動(dòng)態(tài)
基于深度強(qiáng)化學(xué)習(xí)的可靠性感知的邊緣計(jì)算服務(wù)放置和任務(wù)卸載
中文題目：基于深度強(qiáng)化學(xué)習(xí)的可靠性感知的邊緣計(jì)算服務(wù)放置和任務(wù)卸載
論文題目：Deep Reinforcement Learning based Reliability-aware Service Placement and Task Offloading in Edge Computing
錄用期刊/會(huì)議：IEEE 2024 International Conference on Web Services (ICWS) (CCF B)
錄用時(shí)間：2024年5月14日
作者列表：
1）梁晶語(yǔ) 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院 控制科學(xué)與工程專(zhuān)業(yè) 博20
2）馮子涵 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè) 碩22
3）高 涵 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè) 碩21
4）陳 瑩 北京信息科技大學(xué) 計(jì)算機(jī)學(xué)院 教授
5）Linh Truong Aalto University Computer Science Professor
6）黃霽崴 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院 教授
摘要:
隨著5G技術(shù)的快速發(fā)展，各種應(yīng)用場(chǎng)景中的服務(wù)需求不斷增加。移動(dòng)邊緣計(jì)算（MEC）通過(guò)將服務(wù)資源和相應(yīng)的計(jì)算資源放置到邊緣服務(wù)器上，已經(jīng)成為一種流行的計(jì)算范式然而，邊緣服務(wù)器缺乏穩(wěn)定的保護(hù)基礎(chǔ)設(shè)施，以及有限的存儲(chǔ)空間和計(jì)算能力?？紤]到邊緣系統(tǒng)的可靠性和穩(wěn)定性，有效地將資源和將任務(wù)轉(zhuǎn)移到邊緣服務(wù)器已經(jīng)成為一個(gè)緊迫的挑戰(zhàn)。本文考慮了不同時(shí)間尺度下的資源放置變化和任務(wù)卸載策略，優(yōu)化了動(dòng)態(tài)邊緣系統(tǒng)下的服務(wù)提供商的成本。通過(guò)建立馬爾可夫模型，得到系統(tǒng)可靠性和延遲之間的定量關(guān)系，并計(jì)算出資源放置和任務(wù)卸載所需的時(shí)間。然后，本文提出了基于強(qiáng)化學(xué)習(xí)（RL）技術(shù)，在不同時(shí)間尺度下的資源放置和任務(wù)卸載（RPTO）算法，目的是在長(zhǎng)期服務(wù)中最小化服務(wù)提供者的成本。實(shí)驗(yàn)結(jié)果表明，本文提出的方法有效地解決了在MEC中聯(lián)合資源放置和任務(wù)卸載的問(wèn)題挑戰(zhàn)。
優(yōu)化模型與優(yōu)化方法:
圖1 整個(gè)過(guò)程的框架圖
針對(duì)邊緣計(jì)算系統(tǒng)的資源分配和任務(wù)卸載問(wèn)題，采用基于深度強(qiáng)化學(xué)習(xí)的方法對(duì)資源放置和任務(wù)卸載過(guò)程進(jìn)行優(yōu)化，目標(biāo)是優(yōu)化資源分配和任務(wù)卸載過(guò)程中服務(wù)提供商成本。圖1是本文整個(gè)處理過(guò)程的框架流程圖。本文考慮到，相比較資源分配的動(dòng)態(tài)變化，任務(wù)卸載過(guò)程中實(shí)時(shí)變化更快，因此利用雙時(shí)間尺度模型分別對(duì)資源分配和任務(wù)卸載過(guò)程進(jìn)行分析。為了滿(mǎn)足用戶(hù)的可靠性需求，在資源放置部分采用冗余的服務(wù)資源放置策略，確保存在正常的服務(wù)器能夠?yàn)橛脩?hù)提供服務(wù)，任務(wù)卸載部分考慮了服務(wù)器故障對(duì)于處理任務(wù)延遲的影響。為了進(jìn)一步優(yōu)化資源放置和任務(wù)卸載策略，建立了資源分配和任務(wù)卸載模型，資源放置部分主要包括離散動(dòng)作的服務(wù)放置決策和連續(xù)動(dòng)作的計(jì)算資源分配決策的混合動(dòng)作空間，而任務(wù)卸載部分中的任務(wù)類(lèi)型判斷和任務(wù)卸載決策均為離散動(dòng)作空間。因此，采用兩種深度強(qiáng)化學(xué)習(xí)的方法分別對(duì)資源放置和任務(wù)卸載過(guò)程進(jìn)行訓(xùn)練，優(yōu)化服務(wù)提供商的成本。通過(guò)實(shí)驗(yàn)證明了所提出算法的有效性。
實(shí)驗(yàn)結(jié)果及分析:
圖2 不同超參數(shù)設(shè)置對(duì)于算法收斂性的影響。
圖3 不同參數(shù)設(shè)置對(duì)服務(wù)提供商成本的影響。
圖4 不同可靠性屬性對(duì)服務(wù)提供商成本的影響。
結(jié)論:
本文中，我們考慮了邊緣計(jì)算系統(tǒng)中的動(dòng)態(tài)的服務(wù)放置和任務(wù)卸載問(wèn)題，這一問(wèn)題具有挑戰(zhàn)性。考慮到不同服務(wù)的異構(gòu)性和邊緣服務(wù)器有限的存儲(chǔ)空間和計(jì)算資源，為了在長(zhǎng)期內(nèi)最小化服務(wù)成本，采取了不同的時(shí)間尺度來(lái)分別處理服務(wù)放置和任務(wù)卸載。我們提出了一種基于P-DQN和D3QN強(qiáng)化學(xué)習(xí)的RTPO算法，通過(guò)該算法可以動(dòng)態(tài)地處理服務(wù)放置和任務(wù)卸載問(wèn)題。此外，通過(guò)模型實(shí)驗(yàn)分析了影響算法收斂性的參數(shù)，并通過(guò)與基準(zhǔn)算法的比較，驗(yàn)證了該方法的有效性。
通訊作者簡(jiǎn)介:
黃霽崴，教授，博士生導(dǎo)師，中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院副院長(zhǎng)，石油數(shù)據(jù)挖掘北京市重點(diǎn)實(shí)驗(yàn)室主任。入選北京市優(yōu)秀人才、北京市科技新星、北京市國(guó)家治理青年人才、昌聚工程青年人才、中國(guó)石油大學(xué)（北京）優(yōu)秀青年學(xué)者。本科和博士畢業(yè)于清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系，美國(guó)佐治亞理工學(xué)院聯(lián)合培養(yǎng)博士生。研究方向包括：物聯(lián)網(wǎng)、服務(wù)計(jì)算、邊緣智能等。已主持國(guó)家自然科學(xué)基金、國(guó)家重點(diǎn)研發(fā)計(jì)劃、北京市自然科學(xué)基金等科研項(xiàng)目18項(xiàng)；以第一/通訊作者在國(guó)內(nèi)外著名期刊和會(huì)議發(fā)表學(xué)術(shù)論文60余篇，其中1篇獲得中國(guó)科協(xié)優(yōu)秀論文獎(jiǎng)，2篇入選ESI熱點(diǎn)論文，4篇入選ESI高被引論文；出版學(xué)術(shù)專(zhuān)著1部；獲得國(guó)家發(fā)明專(zhuān)利6項(xiàng)、軟件著作權(quán)4項(xiàng)；獲得中國(guó)通信學(xué)會(huì)科學(xué)技術(shù)一等獎(jiǎng)1項(xiàng)、中國(guó)產(chǎn)學(xué)研合作創(chuàng)新成果一等獎(jiǎng)1項(xiàng)、廣東省計(jì)算機(jī)學(xué)會(huì)科學(xué)技術(shù)二等獎(jiǎng)1項(xiàng)。擔(dān)任中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)服務(wù)計(jì)算專(zhuān)委會(huì)委員，CCF和IEEE高級(jí)會(huì)員，電子學(xué)報(bào)、Chinese Journal of Electronics、Scientific Programming等期刊編委。
聯(lián)系方式：[email protected]