科研動(dòng)態(tài)
面向大學(xué)程序設(shè)計(jì)類(lèi)課程的編程與調(diào)試行為可視分析
論文題目：面向大學(xué)程序設(shè)計(jì)類(lèi)課程的編程與調(diào)試行為可視分析
錄用期刊：計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào) (CCF A)
錄用時(shí)間：2024年5月15日
作者列表：
1）連遠(yuǎn)鋒 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)系教師
2）莊永琪 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè) 碩22
3）高涵釗 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)技術(shù)專(zhuān)業(yè) 碩21
4）董華松 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)系教師
摘要:
傳統(tǒng)的編程與調(diào)試行為分析工具缺乏從課程類(lèi)型、題目類(lèi)別和內(nèi)存中數(shù)據(jù)關(guān)系的實(shí)時(shí)變化等維度給出協(xié)同交互的可視化分析，無(wú)法準(zhǔn)確地刻畫(huà)學(xué)生編程能力。為此設(shè)計(jì)了多視圖協(xié)同交互的編程與調(diào)試行為可視分析系統(tǒng)——MPDVAS。首先通過(guò)多維度環(huán)狀熱力圖，集成展示班級(jí)、課程、編程作業(yè)及考試成績(jī)的時(shí)空分布；其次構(gòu)造了基于多平臺(tái)在線(xiàn)課程數(shù)據(jù)的主題模型，將學(xué)生按照用戶(hù)畫(huà)像進(jìn)行聚類(lèi)，進(jìn)而提出基于層次氣泡圖可視化展示方法，將課程、成績(jī)和編程行為評(píng)價(jià)進(jìn)行多維度量化分析與交互推理。最后設(shè)計(jì)了對(duì)稱(chēng)堆疊柱狀圖和多維時(shí)間序列圖相結(jié)合的新布局, 實(shí)現(xiàn)代碼調(diào)試過(guò)程的評(píng)估及程序結(jié)果自動(dòng)對(duì)比，進(jìn)一步給出編程題目和課程推薦結(jié)果。通過(guò)313名學(xué)生的真實(shí)編程數(shù)據(jù)案例分析，收集2名相關(guān)管理人員、2名主講教師和20名學(xué)生的反饋進(jìn)行方差分析，p值為0.008小于顯著性水平0.05，驗(yàn)證了MPDVAS的有效性與實(shí)用性。
背景與動(dòng)機(jī):
以編程和調(diào)試行為作為切入點(diǎn)對(duì)計(jì)算機(jī)專(zhuān)業(yè)教學(xué)過(guò)程進(jìn)行多角度分析，對(duì)于優(yōu)化培養(yǎng)計(jì)劃、輔助教師教學(xué)內(nèi)容設(shè)計(jì)和全面提升學(xué)生的編程能力具有重要的意義。在對(duì)各高校CG和OJ平臺(tái)進(jìn)行調(diào)研后，我們發(fā)現(xiàn)對(duì)于編程和調(diào)試協(xié)同可視分析的研究較少，并且上述平臺(tái)的算法編程與調(diào)試數(shù)據(jù)分析處理中存在以下問(wèn)題：(1)難以有效探索學(xué)生成績(jī)、作業(yè)及考試題目和編程與調(diào)試行為之間的關(guān)系；(2)難以有效挖掘大規(guī)模學(xué)生編程調(diào)試數(shù)據(jù)中的隱含信息。
主要內(nèi)容:
模型結(jié)構(gòu)
本文使用t-SNE降維方法將用戶(hù)多平臺(tái)特征信息降維到二維空間進(jìn)行用戶(hù)畫(huà)像的聚類(lèi)操作，為推薦系統(tǒng)提供先驗(yàn)參數(shù)。根據(jù)多元編程數(shù)據(jù)的特點(diǎn)設(shè)計(jì)了異構(gòu)信息多層圖，如圖1所示。將數(shù)據(jù)整合輸入到推薦系統(tǒng)中，并通過(guò)層間元路徑進(jìn)行特征聚合。根據(jù)用戶(hù)當(dāng)前的編程行為和答題情況進(jìn)行題目與課程的推薦。
圖1 多層圖
可視化交互設(shè)計(jì)
圖2 MPDVAS系統(tǒng)主界面
如圖2所示，MPDVAS界面由首頁(yè)控制臺(tái)及6部分協(xié)同交互的可視化視圖組成。用戶(hù)可以在控制面板中配置角色，年級(jí)和班級(jí)等參數(shù)；用戶(hù)可以根據(jù)目標(biāo)達(dá)成度條形圖確定培養(yǎng)計(jì)劃或教學(xué)大綱是否需要調(diào)整，同時(shí)查看相應(yīng)的視圖分析問(wèn)題并尋找可能的原因。視圖A是對(duì)學(xué)生編程畫(huà)像的整體概覽，視圖B、C、D展示了某個(gè)班級(jí)的編程課數(shù)據(jù)，視圖E、F用于展示題目和課程推薦結(jié)果。群體用戶(hù)編程及可視化行為的展示界面包括多維度環(huán)狀熱力圖-雷達(dá)圖、層次氣泡圖、擴(kuò)展?；鶊D、對(duì)稱(chēng)堆疊柱狀圖-多維時(shí)間序列圖、題目推薦詞云圖與課程推薦和弦圖。
圖3 MPDVAS分析導(dǎo)航
圖3所示為MPDVAS分析導(dǎo)航, 支持教務(wù)人員、主講教師和學(xué)生3類(lèi)角色對(duì)學(xué)生編程行為特征進(jìn)行分析, 通過(guò)多視圖交互實(shí)現(xiàn)優(yōu)化培養(yǎng)方案、調(diào)整教學(xué)計(jì)劃和提高學(xué)生編程能力水平.
實(shí)驗(yàn)結(jié)果及分析:
圖4 學(xué)生整體成績(jī)與編程數(shù)據(jù)展示
多維度環(huán)狀熱力圖-雷達(dá)圖集成展示班級(jí)、課程、編程作業(yè)和考試成績(jī)?cè)诓煌瑢W(xué)期的分布，如圖4所示。并且從整個(gè)年級(jí)的角度展現(xiàn)整體的編程行為數(shù)據(jù)，如平臺(tái)登錄次數(shù)、平臺(tái)使用時(shí)長(zhǎng)、斷點(diǎn)設(shè)置個(gè)數(shù)、代碼通過(guò)率、代碼提交次數(shù)、總得分等。在熱力圖下方，采用面積圖展示不同學(xué)年整體作業(yè)的加權(quán)平均得分，能夠直觀(guān)地了解同一屆學(xué)生不同學(xué)年的成績(jī)變化，以及同一學(xué)期作業(yè)成績(jī)的變化，便于分析學(xué)生整個(gè)學(xué)期的學(xué)習(xí)狀態(tài)。
圖5所示為學(xué)生編程調(diào)試行為與代碼相似度分析界面，點(diǎn)擊氣泡圖中某位學(xué)生的氣泡可以查看其具體的編程信息數(shù)據(jù)，選擇某個(gè)編程題目對(duì)學(xué)生編程行為和代碼相似度進(jìn)行聯(lián)合分析，幫助教師了解具體學(xué)生編程能力，進(jìn)行分類(lèi)教學(xué)管理。圖6展示了學(xué)生作業(yè)代碼調(diào)試過(guò)程中的內(nèi)存狀態(tài)，結(jié)合堆疊圖中的堆棧情況進(jìn)行比較分析。
圖5 學(xué)生編程調(diào)試行為與代碼相似度分析
圖6 代碼調(diào)試過(guò)程內(nèi)存狀態(tài)可視化
根據(jù)學(xué)生的編程行為畫(huà)像為其推薦適合的編程題目如圖7所示，可以根據(jù)詞云圖了解薄弱知識(shí)點(diǎn)，根據(jù)單軸氣泡圖選擇適合難度題目進(jìn)行練習(xí)。進(jìn)而系統(tǒng)為其提供多門(mén)課程按照學(xué)習(xí)優(yōu)先級(jí)展示在外層圓環(huán)上，如圖8所示，根據(jù)課程節(jié)點(diǎn)之間的連接關(guān)系，可以確定某些課程的前置課程進(jìn)行學(xué)習(xí)，更好的理解課程知識(shí)點(diǎn)。
圖7 題目推薦結(jié)果
圖8 課程推薦結(jié)果
表1給出了視圖因素方差分析的結(jié)果，因變量為信息匹配度，檢驗(yàn)統(tǒng)計(jì)量F的值為3.163，P值為0.008小于顯著水平0.05，因此拒絕原假設(shè)。說(shuō)明不同視圖在準(zhǔn)確率上存在顯著性差異。另外圖9展示了測(cè)試者對(duì)相應(yīng)任務(wù)的主觀(guān)打分，可以看出只有Q4任務(wù)的得分較低，其他任務(wù)都能獲得較高的評(píng)分，這表明系統(tǒng)是用戶(hù)有好的，具有很好的可用性。
表1 視圖單因素方差分析結(jié)果
圖9 測(cè)試者任務(wù)主觀(guān)打分
本文使用不同量級(jí)的數(shù)據(jù)對(duì)系統(tǒng)的響應(yīng)速度進(jìn)行測(cè)試，在AMD Ryzen 7 4800H with Radeon Graphics設(shè)備上進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表2所示，可以看出系統(tǒng)響應(yīng)主要受數(shù)據(jù)加載的影響，不同量級(jí)數(shù)據(jù)的界面渲染時(shí)間相當(dāng)。隨著數(shù)據(jù)量增多，數(shù)據(jù)加載時(shí)間越長(zhǎng)，但界面渲染響應(yīng)都不超過(guò)2s。
表2 系統(tǒng)響應(yīng)時(shí)間
結(jié)論:
本文設(shè)計(jì)了一個(gè)多視圖協(xié)同交互的編程與調(diào)試行為可視分析系統(tǒng)MPDVAS。經(jīng)過(guò)教務(wù)人員、教師與學(xué)生的試用后認(rèn)為，該系統(tǒng)能夠從課程、題目和編程及調(diào)試的數(shù)據(jù)中給出協(xié)同交互的可視化分析，能夠準(zhǔn)確地刻畫(huà)學(xué)生編程畫(huà)像并開(kāi)展學(xué)生自我編程能力評(píng)價(jià)。在可視化設(shè)計(jì)過(guò)程中，本文提出了多維度環(huán)狀熱力圖-雷達(dá)圖和堆疊柱狀圖與多維時(shí)間序列圖相結(jié)合的新布局，實(shí)現(xiàn)對(duì)學(xué)生代碼調(diào)試過(guò)程的實(shí)時(shí)評(píng)估及程序結(jié)果自動(dòng)對(duì)比。最后基于真實(shí)課程數(shù)據(jù)進(jìn)行了案例研究，驗(yàn)證了MPDVAS工具的有效性和實(shí)用性。未來(lái)我們將結(jié)合其他代碼庫(kù)的數(shù)據(jù)，挖掘更多有實(shí)際價(jià)值的編程與調(diào)試行為信息。進(jìn)一步聽(tīng)取用戶(hù)及可視化專(zhuān)家的反饋意見(jiàn)，完善分析需求，開(kāi)展新的可視化展示方法。
作者簡(jiǎn)介:
連遠(yuǎn)鋒，教授，碩士生導(dǎo)師。研究方向?yàn)閳D像處理與虛擬現(xiàn)實(shí)、機(jī)器視覺(jué)與機(jī)器人、深度學(xué)習(xí)與數(shù)字孿生。
致謝:
本文寫(xiě)作動(dòng)機(jī)源自紀(jì)連恩老師的“面向多主體的大學(xué)課程成績(jī)相關(guān)性可視探索與分析”一文，相應(yīng)課程教學(xué)數(shù)據(jù)的獲取得到范江波、張建兵、張麗英、趙旭霞等老師的大力支持，在此一并表示感謝。