Автоматическая оценка письменных работ по английскому языку с использованием больших языковых моделей

Аннотация

Расхождение между трудоёмкостью экспертной проверки развёрнутых письменных работ по английскому языку и потребностью в массовом оперативном оценивании порождает запрос на автоматизацию, надёжность которой остаётся предметом спора. Цель работы состоит в количественной оценке согласованности баллов, выставляемых большими языковыми моделями, с экспертной оценкой и в выявлении условий, при которых такое согласие достигает практически приемлемого уровня. Применены имитационное моделирование процедуры оценивания на корпусе из 600 работ уровней A2-C1, сопоставительный анализ пяти автоматических конфигураций и расчёт показателей согласия – взвешенного квадратичного коэффициента каппа, долей точного и смежного совпадения, средней абсолютной ошибки и линейной корреляции. Установлено, что флагманская проприетарная модель достигает квадратичной каппа 0,77 при точном совпадении 54,0% и смежном 89,6%, тогда как открытые модели меньшего масштаба и классический регрессор остаются в интервале 0,58-0,71. Согласие неоднородно по критериям: формальные параметры – орфография, пунктуация, грамматика – воспроизводятся точнее содержательных, к которым относятся выполнение коммуникативной задачи и связность. Дообогащение запроса рубрикой, эталонными образцами, пошаговым рассуждением и агрегацией повторных прогонов повышает каппа с 0,55 до 0,80. Полученные значения остаются ниже межэкспертного предела надёжности 0,86, что определяет автоматическую оценку как инструмент предварительного и вспомогательного ранжирования, а не автономного выставления итогового балла.