В китайских университетах появился необычный метод проверки знаний студентов: вместо решения задач учащиеся сами составляют задания, которые неспособен решить искусственный интеллект. Этот подход применяется на курсе «Технологии интеллектуального анализа данных», где студенты должны продемонстрировать глубокое понимание материала.
Суть метода заключается в том, что каждый студент создает по 10 вычислительных задач с единственным верным ответом. Затем эти задачи «прогоняются» через три различные модели ИИ. Чем больше ошибок допускает модель при решении, тем выше оценку получает студент. Таким образом, учащиеся вынуждены не просто воспроизводить знания, а творчески подходить к созданию сложных и нестандартных задач.
Профессор, разработавший этот метод, объясняет, что традиционные экзаменационные задачи утратили свою эффективность как инструмент проверки знаний. Современные нейросети решают стандартные задачи быстрее и точнее любого студента, что делает такие тесты бесполезными для оценки реальных компетенций учащихся.
Результаты эксперимента оказались впечатляющими. Из 51 студента только 4 смогли полностью «обнулить» хотя бы одну из моделей ИИ, то есть создать задачи, которые модель не решила вовсе. Особенно интересно, что ни одному студенту не удалось полностью справиться с моделью Claude от компании Anthropic. Это демонстрирует, насколько продвинутыми стали современные системы ИИ и как сложно создать действительно сложную для них задачу.
Такой подход не только оценивает знания студентов, но и развивает их критическое мышление, креативность и понимание ограничений искусственного интеллекта. В эпоху, когда ИИ становится все более распространенным, умение создавать задачи, выходящие за рамки его возможностей, становится ценным навыком. Этот метод может стать прообразом будущих систем оценки знаний, где акцент смещается с воспроизведения информации на творческое и аналитическое мышление.
