Почему нейросети не могут притвориться двоечниками: новое исследование точности ИИ в алгебре

Нейросеть пытается решить задачу по алгебре

Современные нейросети достигли впечатляющих успехов в решении сложных задач, но, как оказалось, они совершенно не умеют быть двоечниками. Исследователи из Университета Дрекселя провели эксперимент, в котором попытались заставить ведущие языковые модели изображать школьников с разным уровнем знаний по алгебре. Результаты оказались неожиданными: даже когда ИИ получал четкую инструкцию «отвечай как слабый ученик», он продолжал демонстрировать практически идеальные результаты.

В ходе эксперимента модели Gemini 3.1 Flash Lite, Claude Haiku 4.5 и GPT-5.4-mini получили 379 заданий по алгебре и пять различных ролей — от отличника до двоечника. Однако, независимо от заданной роли, точность ответов оставалась на уровне 96,8–100%. Это подтверждает гипотезу о том, что модель, уже знающая правильное решение, физически не может подавить свои внутренние знания и намеренно ошибиться.

Ключевая проблема, по мнению авторов, заключается в архитектуре самих нейросетей. Они обучены на огромных массивах данных и запрограммированы на поиск оптимального ответа. Простая смена промпта не способна перестроить этот процесс. Поэтому исследователи предложили инновационный подход: разделить задачу на два этапа. Сначала отдельный алгоритм моделирует когнитивный профиль ученика — что он знает, где может ошибиться и какие типичные ошибки допускает. Затем уже языковая модель формулирует объяснение его ответа, основываясь на этом профиле.

Такой метод дал впечатляющие результаты. Точность «почти эксперта» составила 85,2%, среднего ученика — 57,8%, а слабого — 44,1%. Это гораздо ближе к реальной картине успеваемости в школах, чем 100% точность, которую демонстрировали модели при прямом запросе.

Авторы исследования признают, что пока не сравнивали своих виртуальных «школьников» с реальными учениками, поэтому говорить о создании точной модели человеческого обучения преждевременно. Однако сама возможность заставить ИИ правдоподобно ошибаться открывает широкие перспективы. Это может быть полезно для разработки образовательных платформ, создания более реалистичных симуляций и улучшения взаимодействия человека с искусственным интеллектом. Ведь умение признавать свои ошибки — тоже важный навык, даже для нейросети.