近日，我校教育科學與技術學院研究生唐天奇以第一作者撰寫的論文“Unveiling the efficacy of ChatGPT in evaluating critical thinking skills through peer feedback analysis: Leveraging existing classification criteria”（通過同伴反饋揭示ChatGPT在評估批判性思維技能方面的功效：利用現(xiàn)有分類標準）在SSCI教育學領域的高影響力期刊《Thinking Skills and Creativity》（SSCI二區(qū)，JCR Q1，影響因子：3.5）上發(fā)表。該論文是國家自然科學基金2022年度地區(qū)科學基金項目“基于機器學習的同伴互動增值評價的動態(tài)監(jiān)測模型與應用研究”（62267006）的成果之一。
隨著技術的飛速發(fā)展，ChatGPT等大型語言模型在自然語言處理方面取得顯著進展，在教學評價和反饋中具有良好的應用潛力。然而，生成式人工智能能否幫助教育從業(yè)者開展教學工作？本研究探討了在在線同伴反饋中使用大語言模型ChatGPT評估學生批判性思維的潛力。通過比較在線同伴反饋文本中人工編碼與ChatGPT編碼的一致性和準確性，并使用精確率、召回率、F1值和混淆矩陣等各種指標進行綜合分析，評估了ChatGPT的性能，并進一步探究其評估結果與學生批判性思維水平的關系。研究發(fā)現(xiàn)，ChatGPT在評估批判性思維較高維度上展現(xiàn)出一定能力，但在更精細的次級維度上存在局限。同時，ChatGPT的評估不受學生批判性思維水平影響。
未來研究院師生將繼續(xù)鉆研學術、砥礪前行，積累更多高水平研究成果。
圖1 發(fā)表論文部分內容
論文鏈接：https://doi.org/10.1016/j.tsc.2024.101607
