Специалисты по кибербезопасности из команды White Circle совершили прорыв в области тестирования защиты генеративных нейросетей. Они представили новый опенсорс-алгоритм, способный обходить фильтры цензуры в популярных фотогенераторах, таких как Nano Banana и GPT-Image. Этот инструмент вызывает серьезную обеспокоенность, так как демонстрирует уязвимость даже передовых моделей, которые считались надежно защищенными.
Главная особенность разработки заключается в ее подходе к атакам. В отличие от традиционных методов, которые пытаются подобрать конкретные запрещенные запросы, алгоритм White Circle генерирует целые схемы обхода. Система анализирует реакцию фильтров и адаптируется, делая свои атаки со временем все более эффективными. Это позволяет обходить защиту не точечно, а системно, что делает угрозу гораздо более масштабной.
Техническая основа алгоритма удивляет своей простотой и доступностью. В его фундаменте лежит открытая языковая модель Qwen3-32B, причем, что важно, она используется без какого-либо дополнительного дообучения. Это означает, что злоумышленникам не требуются огромные вычислительные ресурсы для тренировки собственных моделей — достаточно воспользоваться уже существующими открытыми решениями и правильно их настроить.
Особый парадокс ситуации заключается в том, что новейшие модели OpenAI и Google оказались защищены хуже своих предшественников. Статистика показывает, что доля успешных атак на новые версии фотогенераторов выросла более чем в два раза. Это свидетельствует о том, что гонка за функциональностью и качеством генерации изображений часто идет в ущерб безопасности.
Разработка доступна на GitHub, что делает ее потенциально опасной в руках недобросовестных пользователей. Однако сами исследователи подчеркивают, что их цель — не создание инструмента для обхода правил, а демонстрация уязвимостей, которые необходимо устранить. Они призывают разработчиков ИИ уделять больше внимания защите своих моделей от подобных атак.
Эксперты отмечают, что появление такого алгоритма — это серьезный сигнал для всей индустрии. Если даже модели с миллиардными бюджетами на безопасность можно обойти с помощью открытых инструментов, значит, проблема носит фундаментальный характер. Возможно, в ближайшее время мы увидим новую волну исследований, направленных на создание по-настоящему надежных фильтров для генеративного ИИ.
