科研動(dòng)態(tài)
基于符號(hào)回歸和鉆井感知的實(shí)時(shí)優(yōu)化多目標(biāo)強(qiáng)化學(xué)習(xí)框架
中文題目：基于符號(hào)回歸和鉆井感知的實(shí)時(shí)優(yōu)化多目標(biāo)強(qiáng)化學(xué)習(xí)框架
論文題目：A multi-objective reinforcement learning framework for real-time drilling optimization based on symbolic regression and perception
錄用期刊/會(huì)議：Geoenergy Science and Engineering (中科院大類(lèi)2區(qū))
原文DOI：https://doi.org/10.1016/j.geoen.2024.213392
原文鏈接：https://www.sciencedirect.com/science/article/pii/S2949891024007620?via%3Dihub
錄用/見(jiàn)刊時(shí)間：2024年10月21日
作者列表：
1） 宋澤華 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 人工智能 碩22
2） 宋 宇 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 教師
3） 楊 進(jìn) 中國(guó)石油大學(xué)（北京）安全與海洋工程學(xué)院 海洋油氣工程系 教師
4） 劉寶生 中海石油（中國(guó)）有限公司天津分公司
5） 高炳震 中國(guó)石油大學(xué)（北京）安全與海洋工程學(xué)院 海洋油氣工程 碩22
6） 湯繼周 同濟(jì)大學(xué)海洋與地球科學(xué)學(xué)院 地球物理系 教師
摘要:
本文提出了一個(gè)多目標(biāo)鉆井參數(shù)優(yōu)化框架，結(jié)合符號(hào)回歸、時(shí)間序列網(wǎng)絡(luò)和馬爾可夫決策過(guò)程，以精確預(yù)測(cè)鉆進(jìn)速度、地層條件，并實(shí)時(shí)優(yōu)化鉆井參數(shù)。包括用于構(gòu)建經(jīng)驗(yàn)方程的多群體進(jìn)化符號(hào)回歸算法、用于數(shù)據(jù)預(yù)處理的變分模態(tài)分解和樣本熵的集成，以及用于提高預(yù)測(cè)準(zhǔn)確性的多頭自注意力時(shí)間序列網(wǎng)絡(luò)。分位數(shù)回歸進(jìn)一步估計(jì)鉆取參數(shù)調(diào)整的范圍。此外，還開(kāi)發(fā)了一種鉆井參數(shù)優(yōu)化深度確定性策略梯度算法來(lái)自動(dòng)進(jìn)行實(shí)時(shí)參數(shù)調(diào)整。對(duì)南海樂(lè)東10-1 區(qū)塊的實(shí)證分析表明，鉆井速度顯著改善：ROP 從 54.18 m/hr 增加到 122.17 m/hr，機(jī)械比能從 100.82 MPa 下降到 97.78 MPa，每英尺成本從 121.16 × 102 CNY /m 降低到 51.31 × 102 CNY/m。
背景與動(dòng)機(jī):
在全球能源轉(zhuǎn)型的背景下，優(yōu)化深水油氣鉆井參數(shù)對(duì)確保安全和提高效率至關(guān)重要。傳統(tǒng)的鉆速經(jīng)驗(yàn)方程基于簡(jiǎn)化的物理假設(shè)，無(wú)法全面描述復(fù)雜的鉆井過(guò)程。盡管神經(jīng)網(wǎng)絡(luò)模型能夠捕獲復(fù)雜的非線(xiàn)性關(guān)系，但其不透明性限制了模型的可解釋性和泛化能力。此外，僅依賴(lài)隨鉆測(cè)井參數(shù)進(jìn)行鉆井參數(shù)優(yōu)化存在固有局限性。數(shù)據(jù)獲取通常在鉆井活動(dòng)發(fā)生后，導(dǎo)致實(shí)時(shí)參數(shù)調(diào)整無(wú)法達(dá)到預(yù)期效果。這些方法未充分考慮鉆井作業(yè)中的滯后效應(yīng)，亦未能動(dòng)態(tài)適應(yīng)不同鉆進(jìn)階段的需求。鉆井過(guò)程中的多目標(biāo)優(yōu)化還面臨地質(zhì)環(huán)境復(fù)雜性和不確定性的挑戰(zhàn)，使得優(yōu)化問(wèn)題高度動(dòng)態(tài)且非線(xiàn)性。傳統(tǒng)算法難以及時(shí)響應(yīng)地層變化，實(shí)時(shí)調(diào)整鉆井參數(shù)，導(dǎo)致計(jì)算效率低下和響應(yīng)能力不足。這使得同時(shí)實(shí)現(xiàn)提高鉆速與優(yōu)化能耗等多個(gè)目標(biāo)變得具有挑戰(zhàn)性。
設(shè)計(jì)與實(shí)現(xiàn):
圖1 工作流程
設(shè)計(jì)多進(jìn)化符號(hào)回歸 （MESR-DS）算法旨在鉆井過(guò)程中構(gòu)建鉆速方程，以最佳方式映射鉆井、泥漿錄井和隨鉆測(cè)井參數(shù)之間的復(fù)雜關(guān)系，提供對(duì)鉆井動(dòng)態(tài)特性和各種參數(shù)之間相互作用的量化。
圖2 不同 ROP 預(yù)測(cè)模型對(duì)訓(xùn)練井和鄰井性能對(duì)比
圖 2 比較了 FCNN 模型與兩種ROP 方程在訓(xùn)練井和鄰井中的性能。結(jié)果顯示，F(xiàn)CNN 模型在訓(xùn)練井中取得了最低的 MSE和最高的 R2，優(yōu)于高復(fù)雜度的 MESR-DS 方程和經(jīng)典的 Bourgoyne-Young 方程。這表明 FCNN 模型在準(zhǔn)確性和數(shù)據(jù)擬合方面具有顯著優(yōu)勢(shì)。盡管高復(fù)雜度 MESR-DS 方程未達(dá)到 FCNN 模型的性能，但在捕捉地質(zhì)變異性方面明顯優(yōu)于 Bourgoyne-Young 方程，后者因固定的參數(shù)設(shè)置而限制了對(duì)新地質(zhì)條件的適應(yīng)性。在預(yù)測(cè)鄰井的 ROP 時(shí)，F(xiàn)CNN 模型和高復(fù)雜度 MESR-DS 方程的 MSE 值顯著低于 Bourgoyne-Young 方程的 MSE 值。這表明高復(fù)雜度的經(jīng)驗(yàn)方程在泛化能力上與機(jī)器學(xué)習(xí)方法近似。
使用VMD-CNN-BiLSTM-MA 模型預(yù)測(cè)關(guān)鍵測(cè)井參數(shù)，此外，引入分位數(shù)回歸方法和分位數(shù)損失函數(shù)構(gòu)建CNN-BiLSTM-MA-QA模型，用以預(yù)測(cè)關(guān)鍵鉆井參數(shù)潛在調(diào)整范圍，增強(qiáng)實(shí)時(shí)決策的適應(yīng)性和響應(yīng)性。使用南海樂(lè)東 10-1 區(qū)塊的某口井現(xiàn)場(chǎng)數(shù)據(jù)，評(píng)估了 VMD-CNN-BiLSTM-MA 和 CNN-BiLSTM-MA-QA 模型在預(yù)測(cè)關(guān)鍵隨鉆測(cè)井參數(shù)（GR、SP 和 DT）以及鉆井參數(shù)（WOB、RPM、FLW、MwIN和 TemIN）方面的有效性。如圖3所示的預(yù)測(cè)結(jié)果提供了兩種模型性能的直觀(guān)比較，突出了它們?cè)趯?shí)際鉆井環(huán)境中的能力。
圖3 VMD-CNN-BiLSTM-MA 和 CNN-BiLSTM-MA-QA 模型預(yù)測(cè) LWD 和鉆井參數(shù)調(diào)整范圍效果
為有效優(yōu)化鉆井參數(shù)，采用高復(fù)雜度 MESR-DS 方程作為鉆速估計(jì)器，利用 VMD-CNN-BiLSTM-MA 模型作為環(huán)境估計(jì)器，構(gòu)建馬爾可夫決策過(guò)程，從而設(shè)計(jì)了鉆井參數(shù)優(yōu)化—深度確定性策略梯度（DPODDPG）算法。該算法以每英尺成本和機(jī)械比能作為獎(jiǎng)勵(lì)函數(shù)，狀態(tài)空間由 CNN-BiLSTM-MA-QA 模型預(yù)測(cè)的關(guān)鍵鉆井參數(shù)潛在調(diào)整范圍動(dòng)態(tài)定義。
圖4 DPODDPG 算法架構(gòu)
圖5 865-870m 區(qū)間較軟地層的鉆井參數(shù)優(yōu)化效果
圖5（a）–5（c）顯示 GR、SP 和 DT 顯著降低，表明鉆遇較軟地層。這些地質(zhì)特征表明地層的強(qiáng)度和密度較低，這通常需要調(diào)整鉆井參數(shù)以適應(yīng)地層特征。在此類(lèi)地層中，優(yōu)化的鉆井參數(shù)包括：降低 WOB、降低 FLW、提高 RPM 以及降低 MwIN 和 TemIN。圖5（d）–5（f） 說(shuō)明了這些調(diào)整的效果。降低 WOB 有助于減少對(duì)較軟地層的過(guò)大壓力，防止鉆頭快速磨損，同時(shí)保持良好的切削效率。降低泵流速可最大限度地減少井壁的侵蝕，同時(shí)保持鉆井液的有效循環(huán)。提高 RPM 可以提高鉆頭的切削速度，以適應(yīng)較軟的地層特性。降低泥漿密度和溫度有助于減少對(duì)井壁的壓力，保持泥漿性能，并減少對(duì)鉆頭的熱影響。上述調(diào)整反映了 DPODDPG 算法在優(yōu)化較軟地層鉆井參數(shù)、提升鉆井過(guò)程穩(wěn)定性和效率方面的有效性。
圖6 DPODDPG 和 MOPSO 算法在訓(xùn)練井鉆井參數(shù)優(yōu)化中性能對(duì)比
圖 6顯示，隨著鉆井深度的增加，特別是在超過(guò)中位數(shù)深度后，ROP的波動(dòng)顯著減少。這表明 DPODDPG 算法成功優(yōu)化了鉆井參數(shù)，降低了無(wú)效和過(guò)度的操作，從而最大限度地減少了資源浪費(fèi)，提升了鉆井效率。ROP 的穩(wěn)定性與分位數(shù)回歸提供的動(dòng)態(tài)調(diào)整范圍密切相關(guān)，確保了 ROP 不會(huì)因極端操作而增加風(fēng)險(xiǎn)。相比之下，盡管 MOPSO 算法在整個(gè)鉆井過(guò)程中也實(shí)現(xiàn)了 ROP 的顯著提升，但由于缺乏動(dòng)態(tài)調(diào)整約束，特別是在鉆井后期，其不合理的速度增加導(dǎo)致了操作風(fēng)險(xiǎn)的上升。MOPSO 算法的這種行為可能引發(fā)極端操作，尤其是在更深的鉆井深度，無(wú)法適應(yīng)不斷變化的地質(zhì)條件，進(jìn)而可能導(dǎo)致安全事故或設(shè)備損壞。
圖7 鄰井全深度區(qū)間優(yōu)化前后的鉆井參數(shù)對(duì)比
作者簡(jiǎn)介:
宋宇，中國(guó)石油大學(xué)（北京）人工智能學(xué)院 副教授，主要研究方向是海洋油氣鉆井、智能控制和鉆井感知相關(guān)的研究工作?，F(xiàn)主持國(guó)家自然科學(xué)基金青年項(xiàng)目、重點(diǎn)研發(fā)計(jì)劃子課題等國(guó)家級(jí)課題5項(xiàng)，獨(dú)立承擔(dān)十余項(xiàng)企業(yè)橫向項(xiàng)目，參研973、國(guó)家自然科學(xué)重點(diǎn)項(xiàng)目、聯(lián)合基金項(xiàng)目、企業(yè)項(xiàng)目超30項(xiàng)。在JPSE、OE、FGCS、中國(guó)海上油氣、石油鉆采工藝等國(guó)內(nèi)外主流期刊發(fā)表論文20余篇。