科研動(dòng)態(tài)
基于兩階段圖注意網(wǎng)絡(luò)和Q學(xué)習(xí)的維修任務(wù)調(diào)度
中文題目：基于兩階段圖注意網(wǎng)絡(luò)和Q學(xué)習(xí)的維修任務(wù)調(diào)度
論文題目：Two-stage Graph Attention Networks and Q-learning Based Maintenance Tasks Scheduling
錄用期刊/會(huì)議： Applied Intelligence (中科院大類(lèi)2區(qū))
原文DOI： https://doi.org/10.1007/s10489-025-06249-z
原文鏈接：https://link.springer.com/article/10.1007/s10489-025-06249-z
錄用/見(jiàn)刊時(shí)間：2025年1月16日
1）高小永 中國(guó)石油大學(xué)（北京）自動(dòng)化系 教師;
2）彭 雕 中國(guó)石油大學(xué)（北京）自動(dòng)化系 碩21;
3）楊一旭 中國(guó)石油大學(xué)（北京）自動(dòng)化系 碩21;
4）黃付宇 中國(guó)石油大學(xué)（北京）自動(dòng)化系 碩20;
5）袁 宇 中國(guó)石油大學(xué)（北京）自動(dòng)化系 碩22;
6）檀朝東 中國(guó)石油大學(xué)（北京）自動(dòng)化系 教師;
7）李菲菲 山東預(yù)見(jiàn)智能科技有限公司.
文章簡(jiǎn)介:
維修任務(wù)調(diào)度優(yōu)化對(duì)提高油氣開(kāi)采效率具有重要意義和挑戰(zhàn)性。維修任務(wù)調(diào)度優(yōu)化是個(gè)典型的組合優(yōu)化問(wèn)題，當(dāng)較大規(guī)模需要考慮時(shí)求解難度很大。為此，本文提出了一種兩階段圖注意網(wǎng)絡(luò)與Q學(xué)習(xí)相結(jié)合的框架（TSGAT+Q-learning）。實(shí)驗(yàn)對(duì)比結(jié)果顯示，在大多數(shù)情況下，TSGAT+Q-learning優(yōu)于CPLEX、OR-Tools和其他基于學(xué)習(xí)的算法。
摘要:
維修任務(wù)調(diào)度優(yōu)化對(duì)提高油氣開(kāi)采效率具有重要意義和挑戰(zhàn)性。傳統(tǒng)上，這個(gè)問(wèn)題是使用精確算法、元啟發(fā)式算法或求解器來(lái)解決的。然而，由于這個(gè)問(wèn)題的大規(guī)模性質(zhì)，這些方法在實(shí)際使用中經(jīng)常失敗。為了解決這個(gè)問(wèn)題，本文引入了一種組合消息傳遞神經(jīng)網(wǎng)絡(luò)（CMPNN）進(jìn)行圖嵌入，通過(guò)對(duì)相鄰節(jié)點(diǎn)的消息進(jìn)行聚合得到整個(gè)圖的消息，作為后續(xù)框架的輸入。在CMPNN的基礎(chǔ)上，提出了一種兩階段圖注意網(wǎng)絡(luò)與Q學(xué)習(xí)相結(jié)合的框架（TSGAT+Q-learning）。為了驗(yàn)證所提方法的有效性，提供了不同規(guī)模的場(chǎng)景。在大多數(shù)情況下，TSGAT+Q-learning優(yōu)于CPLEX、OR-Tools和其他基于學(xué)習(xí)的算法。此外，訓(xùn)練后的網(wǎng)絡(luò)還可以解決不同規(guī)模維修任務(wù)的問(wèn)題，這表明TSGAT+Q-learning具有良好的泛化能力。最后，對(duì)多約束條件下的現(xiàn)場(chǎng)維修任務(wù)調(diào)度問(wèn)題進(jìn)行了驗(yàn)證。
背景與動(dòng)機(jī):
維修任務(wù)調(diào)度存在于各個(gè)行業(yè)。有效地安排維修任務(wù)和分配資源，以最大限度地提高效率和滿(mǎn)足客戶(hù)需求是維修任務(wù)調(diào)度優(yōu)化的本質(zhì)。近年來(lái)，深度強(qiáng)化學(xué)習(xí)（DRL）被引入來(lái)解決一些大規(guī)模的組合優(yōu)化問(wèn)題。受此啟發(fā)，本文提出了一種新的DRL方法來(lái)解決這一問(wèn)題。
設(shè)計(jì)與實(shí)現(xiàn):
為了有效地解決維修任務(wù)調(diào)度問(wèn)題，本文提出了一種基于圖神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制和強(qiáng)化學(xué)習(xí)的維修任務(wù)調(diào)度框架。該框架如圖1所示。
圖 1 所提出框架的描述
1. 圖嵌入
為了解決該框架中計(jì)算節(jié)點(diǎn)和邊緣特征嵌入的問(wèn)題，引入了組合消息傳遞神經(jīng)網(wǎng)絡(luò)（CMPNN）。CMPNN是消息傳遞神經(jīng)網(wǎng)絡(luò)（MPNN）的改進(jìn)版本。MPNN的流程由式1和2表示。
為了提高CMPNN的表達(dá)能力，引入了全局不變核函數(shù)
。每次迭代時(shí)，CMPNN可表示為式（3）。
在本文中，CMPNN框架中節(jié)點(diǎn)嵌入的更新過(guò)程表述為式（4）：
2.兩階段圖注意網(wǎng)絡(luò)
智能體嵌入的構(gòu)造涉及到利用前面描述的圖嵌入中的一組節(jié)點(diǎn)特征。這個(gè)過(guò)程可以用下面的數(shù)學(xué)公式來(lái)表示。
為了保證服務(wù)技術(shù)人員之間有效的信息共享，將全局嵌入和服務(wù)站嵌入連接起來(lái)形成圖形上下文嵌入。此串聯(lián)過(guò)程表示為式（6）：
為了計(jì)算將任一維修任務(wù)分配給特定服務(wù)技術(shù)人員的權(quán)重，所提出的框架中采用了注意力機(jī)制。
服務(wù)技術(shù)人員
與維修任務(wù)
的兼容性
由式（10）計(jì)算。
注意權(quán)重
為的
。智能體嵌入在（12）中描述。
在第二階段，描述了將服務(wù)技術(shù)員分配給維修任務(wù)
的策略計(jì)算過(guò)程。這個(gè)過(guò)程由公式（13-17）描述。
實(shí)驗(yàn)結(jié)果及分析:
根據(jù)表1所示的結(jié)果，可以明顯看出所提出的TSGAT+Q學(xué)習(xí)框架在效率方面優(yōu)于其他方法。
表 1 比較不同方法在測(cè)試數(shù)據(jù)集上的解的質(zhì)量
圖2和3展示了5個(gè)服務(wù)技術(shù)人員和50個(gè)維修任務(wù)的維修任務(wù)調(diào)度問(wèn)題的兩個(gè)實(shí)例的調(diào)度結(jié)果。類(lèi)似地，圖4和5顯示了具有10個(gè)服務(wù)技術(shù)人員和100個(gè)維修任務(wù)的兩個(gè)實(shí)例的調(diào)度結(jié)果。結(jié)果表明，使用TSGAT+Q學(xué)習(xí)框架可以成功地為這些案例生成可行的解決方案。
圖 2 案例1的維修調(diào)度甘特圖
圖 3 案例2的維修調(diào)度甘特圖
圖 4 案例3的維修調(diào)度甘特圖
圖 5 案例4的維修調(diào)度甘特圖
結(jié)論:
近年來(lái)，DRL解決組合優(yōu)化問(wèn)題已成為一種流行的方法。受此啟發(fā)，我們首先將圖嵌入技術(shù)應(yīng)用于服務(wù)技術(shù)人員和維修任務(wù)之間的消息傳遞。所提出的框架利用這種技術(shù)在整個(gè)圖結(jié)構(gòu)中捕獲和傳播消息。在此基礎(chǔ)上，提出了TSGAT算法來(lái)解決維修任務(wù)的分配和調(diào)度問(wèn)題。通過(guò)實(shí)驗(yàn)對(duì)比驗(yàn)證了該方法的有效性和高效性。
通訊作者簡(jiǎn)介:
高小永，人工智能學(xué)院副院長(zhǎng)，教授，博士生導(dǎo)師，石大學(xué)者，校青年拔尖人才，自動(dòng)化專(zhuān)業(yè)及控制科學(xué)與工程學(xué)科建設(shè)負(fù)責(zé)人，擔(dān)任北京自動(dòng)化學(xué)會(huì)常務(wù)理事、中國(guó)自動(dòng)化學(xué)會(huì)過(guò)程控制專(zhuān)業(yè)委員會(huì)委員、中國(guó)自動(dòng)化學(xué)會(huì)教育工作委員會(huì)委員、中國(guó)化工學(xué)會(huì)信息技術(shù)應(yīng)用專(zhuān)業(yè)委員會(huì)副秘書(shū)長(zhǎng)、中國(guó)系統(tǒng)工程學(xué)會(huì)過(guò)程系統(tǒng)工程專(zhuān)業(yè)委員會(huì)委員等。研究領(lǐng)域?yàn)閺?fù)雜石油石化工業(yè)過(guò)程智能制造，主要方向有：機(jī)理與數(shù)據(jù)驅(qū)動(dòng)的故障診斷、復(fù)雜工業(yè)過(guò)程建模與優(yōu)化控制、工業(yè)過(guò)程計(jì)劃與調(diào)度優(yōu)化等。主持國(guó)家自然科學(xué)基金項(xiàng)目2項(xiàng)、北京市自然科學(xué)基金面上項(xiàng)目1項(xiàng)、校企聯(lián)合項(xiàng)目30多項(xiàng)，發(fā)表SCI/EI等各類(lèi)論文50多篇。
Email：[email protected]