網路英文作文自動批改系統可信嗎? 蘇正隆
為鼓勵閱讀風氣、提升國人英語實力,書林出版公司與國家圖書館、語言訓練測驗中心合辦「全國高中職英文讀書心得比賽」,今年已進入第五屆。像這樣的比賽活動,閱卷是件鉅大困難的工程,尤其如果參賽者超過1,000,要動員的人力、所花的時間會相當可觀。
拜電腦網路科技發達之賜及語料庫的普及應用,我們現在可以透過批改網之類的線上服務,來節省人力、成本及時間。茲以第四屆為例,參賽人數為1233,我們先將一千多份讀書心得輸入批改網,批改網自己設定的字數為100-500,滿分100。我們將字數限制修正為不少於500,不高於700。最後選出87分以上共364份進入複審,這樣就先初步過濾70%的參賽者,再從剩下的30%(364份)中篩選出79份進入決賽,以人工閱卷。
批改網是北京詞網科技公司(http://www.pigai.org/)基於大數據的英文作文批改技術。通過將學習者語料和標準語料庫進行對比,1.2秒內可以給分,同時有全面的回饋、客觀的評語供學習者參考。目前在中國已有超過4000所學校,950多萬師生使用。
為了怕自動批改系統不夠準確,會有遺珠之憾,我們在第三屆時曾先測試以76分為門檻,再隨機抽出10份,請母語人士以人工閱卷,確定得分在76分以下者,就英文寫作而言,確實不可能入圍。之後再把分數提高到80分,同樣請母語人士、資深美國編輯隨機批閱10份,一直提高到85分為止,第四屆則提高到87分才進入複審。