近日，我校教育科學與技術學院研究生唐天奇以第一作者撰寫的論文“Unveiling the efficacy of ChatGPT in evaluating critical thinking skills through peer feedback analysis: Leveraging existing classification criteria”（通過同伴反饋揭示ChatGPT在評估批判性思維技能方面的功效：利用現有分類標準）在SSCI教育學領域的高影響力期刊《Thinking Skills and Creativity》（SSCI二區，JCR Q1，影響因子：3.5）上發表。該論文是國家自然科學基金2022年度地區科學基金項目“基于機器學習的同伴互動增值評價的動態監測模型與應用研究”（62267006）的成果之一。
隨著技術的飛速發展，ChatGPT等大型語言模型在自然語言處理方面取得顯著進展，在教學評價和反饋中具有良好的應用潛力。然而，生成式人工智能能否幫助教育從業者開展教學工作？本研究探討了在在線同伴反饋中使用大語言模型ChatGPT評估學生批判性思維的潛力。通過比較在線同伴反饋文本中人工編碼與ChatGPT編碼的一致性和準確性，并使用精確率、召回率、F1值和混淆矩陣等各種指標進行綜合分析，評估了ChatGPT的性能，并進一步探究其評估結果與學生批判性思維水平的關系。研究發現，ChatGPT在評估批判性思維較高維度上展現出一定能力，但在更精細的次級維度上存在局限。同時，ChatGPT的評估不受學生批判性思維水平影響。
未來研究院師生將繼續鉆研學術、砥礪前行，積累更多高水平研究成果。
圖1 發表論文部分內容
論文鏈接：https://doi.org/10.1016/j.tsc.2024.101607
