Популярные нейросети не справились со школьной программой

На фоне планов властей РФ внедрить в школах автопроверку домашних работ NEWS.ru провел эксперимент, насколько искусственный интеллект способен сам справиться с заданиями, оценку которых ему могут поручить. Для этого популярным языковым моделям ChatGPT, GigaChat и YaGPT предложили решить 13 заданий из школьной программы — с большинством из них они не справились.

Для начала нейросети должны были продемонстрировать возможности исправления грамматических и пунктуационных ошибок в русском тексте. ChatGPT и GigaChat в целом справились с заданием, если не учитывать два некритических замечания: замену запятой на союз и замену слова на синоним. YaGPT задание выполнять отказалась, сославшись на слишком большое количество ошибок.

Наибольшие трудности у языковых моделей вызвали задачи, требующие математических расчетов. Задание по теории вероятностей правильно решили все «испытуемые».

Проблемы возникли с задачей по расчету скорости исходя из условий: «Первый велосипедист выехал из поселка по шоссе со скоростью 15 км/ч. Через час после него со скоростью 10 км/ч из того же поселка в том же направлении выехал второй велосипедист. Первый велосипедист выехал из поселка по шоссе со скоростью 15 км/ч. Через час после него со скоростью 10 км/ч из того же поселка в том же направлении выехал второй велосипедист».

На эту задачу каждый раз нейросети давали разные ответы. Серьезным препятствием для ИИ стала и геометрия. Программам для решения не хватало известных переменных, тогда как их недостаток — распространенная практика в заданиях по данному предмету.

Ранее замглавы Минцифры РФ Олег Качанов сообщил, что российских учителей хотят освободить от ручной проверки домашних заданий. Для автоматической оценки работ на базе Московской электронной школы планируется создать специальную информационную систему, предположительно, работающую на базе нейросети. Ожидается, что это позволит разгрузить педагогов.