大发888游戏平台下载-博客市网站-亚洲太阳开户送98元-正规皇冠投注网

中文題目：深度可微符號(hào)回歸神經(jīng)網(wǎng)絡(luò)

論文題目：Deep Differentiable Symbolic Regression Neural Network

錄用期刊/會(huì)議：Neurocomputing ，SCI一區(qū)，中科院大類(lèi)二區(qū)，TOP期刊

原文DOI：10.1016/j.neucom.2025.129671

原文鏈接：https://doi.org/10.1016/j.neucom.2025.129671

錄用/見(jiàn)刊時(shí)間：2025.02

作者列表：

1）魯   強(qiáng) 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 智能科學(xué)與技術(shù)系 副教授

2）羅元榛 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè) 碩21

3）李昊洋 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè) 碩23

4）Jake Luo  University of Wisconsin Milwaukee  Department of Health Informatics and Administration  Associate Professor

5）王智廣 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)系 教授

摘要:

由于符號(hào)回歸問(wèn)題的搜索空間是離散的，深度學(xué)習(xí)方法是不可微的，因此使用深度學(xué)習(xí)方法解決符號(hào)回歸問(wèn)題會(huì)導(dǎo)致更長(zhǎng)的訓(xùn)練時(shí)間和收斂上的挑戰(zhàn)。本文為了解決這一問(wèn)題，提出了一種名為深度可微符號(hào)回歸神經(jīng)網(wǎng)絡(luò)（DDSR-NN）的新型網(wǎng)絡(luò)結(jié)構(gòu)。DDSR-NN的每一層表示運(yùn)算符的連續(xù)分布，相鄰層之間的連接表示這些運(yùn)算符的系數(shù)，網(wǎng)絡(luò)整體可以表示為數(shù)學(xué)表達(dá)式的分布，通過(guò)在每一層上采樣來(lái)得到最終的結(jié)果表達(dá)式。為了提高運(yùn)行效率和避免產(chǎn)生的表達(dá)式過(guò)于復(fù)雜，利用門(mén)掩碼對(duì)結(jié)果進(jìn)行剪枝和規(guī)則掩碼減少搜索空間。此外，使用梯度下降和風(fēng)險(xiǎn)尋求策略梯度方法進(jìn)行混合優(yōu)化訓(xùn)練，保證了DDSR-NN可以快速收斂到最小損失的數(shù)學(xué)表達(dá)式分布。為了驗(yàn)證DDSR-NN的有效性，本文在兩種不同類(lèi)型的35個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。結(jié)果表明，DDSR-NN在準(zhǔn)確性和可解釋性之間的平衡方面優(yōu)于23種現(xiàn)有的符號(hào)回歸方法。并且，與三種基于神經(jīng)網(wǎng)絡(luò)的符號(hào)回歸方法相比，DDSR-NN可以快速且穩(wěn)定地收斂得到結(jié)果。

背景與動(dòng)機(jī):

符號(hào)回歸是指從數(shù)學(xué)表達(dá)式空間中發(fā)現(xiàn)與給定數(shù)據(jù)集擬合的表達(dá)式?；谘莼?jì)算的符號(hào)回歸方法可以在龐大的搜索空間中找到符號(hào)回歸的近似解，但是在高維數(shù)據(jù)集上往往會(huì)消耗過(guò)多的計(jì)算資源，并產(chǎn)生過(guò)于復(fù)雜的結(jié)果。最近有許多深度學(xué)習(xí)算法被提出來(lái)解決符號(hào)回歸問(wèn)題。然而，這些算法由于自身結(jié)構(gòu)的不可微性，在訓(xùn)練過(guò)程中往往會(huì)遇到訓(xùn)練時(shí)間長(zhǎng)、收斂困難、容易陷入局部最優(yōu)等問(wèn)題。因此，為了克服網(wǎng)絡(luò)結(jié)構(gòu)的不可微挑戰(zhàn)，本文提出了深度可微符號(hào)回歸神經(jīng)網(wǎng)絡(luò)（DDSR-NN）。

設(shè)計(jì)與實(shí)現(xiàn):

深度可微符號(hào)回歸神經(jīng)網(wǎng)絡(luò)（DDSR-NN）結(jié)構(gòu)如圖1所示。DDSR-NN 由五部分組成：輸入層、分布層、輸出層、門(mén)掩碼和規(guī)則掩碼（如圖1（a）所示）。每個(gè)分布層由數(shù)學(xué)運(yùn)算符（+,-,×,÷,sin,log,...），一對(duì)輸入結(jié)點(diǎn)和一個(gè)分布結(jié)點(diǎn)組成（如圖1（b）所示）。分布節(jié)點(diǎn)利用softmax激活函數(shù)來(lái)模擬運(yùn)算符的分布。因此，分布層產(chǎn)生兩個(gè)不同的輸出：1)連續(xù)、可微的運(yùn)算符分布。2)來(lái)源于上述分布的運(yùn)算符，將用于后續(xù)的推理階段。DDSR-NN有兩種類(lèi)型的邊，層與層之間的邊和分布層內(nèi)部的邊。層與層之間的邊代表數(shù)學(xué)表達(dá)式的系數(shù)，分布層內(nèi)部的邊代表分布中運(yùn)算符的參數(shù)。門(mén)掩碼用于控制層與層之間的連接，類(lèi)似于“dropout”層。規(guī)則掩碼用于避免復(fù)雜運(yùn)算符的嵌套，如（sin(sin(x))）情況的產(chǎn)生。

圖1 深度可微符號(hào)回歸神經(jīng)網(wǎng)絡(luò)(DDSR-NN)

實(shí)驗(yàn)結(jié)果及分析:

在兩種不同類(lèi)型基準(zhǔn)數(shù)據(jù)集（Feynman和PMLB）的35個(gè)數(shù)據(jù)集上對(duì)DDSR-NN進(jìn)行了實(shí)驗(yàn)評(píng)估。結(jié)果表明，DDSR-NN在R²和模型大小方面優(yōu)于其他算法，如圖2、圖3、圖4所示。在恢復(fù)率方面也有著較好的表現(xiàn)，如圖5所示。

 

圖2 Feynman數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

圖3 PMLB數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

 

圖4 R²和模型大小的帕累托前沿圖

圖5 恢復(fù)率實(shí)驗(yàn)結(jié)果

同時(shí)對(duì)DDSR-NN進(jìn)行了消融實(shí)驗(yàn)，結(jié)果如圖6所示?？梢园l(fā)現(xiàn)本文提出的掩碼策略和風(fēng)險(xiǎn)尋求策略梯度優(yōu)化方法均提高了網(wǎng)絡(luò)模型的性能。

 

圖6 消融實(shí)驗(yàn)結(jié)果

結(jié)論:

本文設(shè)計(jì)了一種新的深度可微符號(hào)回歸神經(jīng)網(wǎng)絡(luò)（DDSR-NN）。DDSR-NN采用門(mén)掩碼和規(guī)則掩碼兩種掩碼策略以及混合訓(xùn)練方法，使其能夠同時(shí)學(xué)習(xí)和采樣，以發(fā)現(xiàn)最優(yōu)的數(shù)學(xué)表達(dá)式。與其他基于神經(jīng)網(wǎng)絡(luò)的符號(hào)回歸方法相比，DDSR-NN由于其可微的結(jié)構(gòu)，能夠更有效地收斂到數(shù)學(xué)表達(dá)式的分布，從而產(chǎn)生更好的結(jié)果。此外，與基于演化計(jì)算和機(jī)器學(xué)習(xí)的符號(hào)回歸方法相比，DDSR-NN具有自動(dòng)特征工程的能力，可以過(guò)濾掉不重要的特征，以防止生成過(guò)于復(fù)雜的數(shù)學(xué)表達(dá)式。實(shí)驗(yàn)表明，DDSR-NN在準(zhǔn)確性和可解釋性之間的平衡方面優(yōu)于23種現(xiàn)有的符號(hào)回歸方法，同時(shí)可以快速且穩(wěn)定地得到結(jié)果表達(dá)式。

通訊作者簡(jiǎn)介:

魯強(qiáng)：副教授，博士生導(dǎo)師。目前主要從事演化計(jì)算和符號(hào)回歸、知識(shí)圖譜與智能問(wèn)答、以及軌跡分析與挖掘等方面的研究工作。

聯(lián)系方式：[email protected]