В юридической практике появился новый вид манипуляции, связанный с использованием искусственного интеллекта. Житель Коннектикута Мэтью Эллиотт предпринял нестандартную попытку повлиять на исход судебного разбирательства с медицинской компанией, внедрив скрытые инструкции для ИИ в официальные документы. Используя белый невидимый мелкий шрифт, он закодировал в тексте указания для алгоритмов, которые должны были склонить чат-ботов к его позиции.
Суть атаки заключалась в том, что при анализе документа языковой моделью, она должна была учесть скрытый текст и сформировать ответ, благоприятный для истца. Инструкция содержала требование согласовать выводы с представленным документом и добиться удовлетворения записи 136.00, настаивая на исправлении отказа секретаря по записи 136.10.
Однако замысел был раскрыт в ходе судебного заседания. Внимательные юристы заметили подозрительные белые поля в документах и проверили их содержимое. Судья Спейдер, рассматривающий дело, официально заявил, что в его работе ИИ не используется. Тем не менее, эксперты предположили, что настоящей целью атаки были адвокаты ответчика, которые регулярно обрабатывают входящие документы с помощью чат-ботов. В таком случае они получили бы пересказ, незаметно искаженный в пользу истца.
Несмотря на предупреждения суда, Эллиотт продолжил свои эксперименты. В последующих документах он размещал ссылки на видео с Губкой Бобом и оставлял насмешливые комментарии, например «привет 🙂 надеюсь, вы меня не видите». Такое поведение привело к тому, что суд запретил ему подавать документы в электронном виде.
Сам Эллиотт объяснил свои действия желанием проверить, используют ли суды искусственный интеллект. Журналисты провели собственный эксперимент: они загрузили «отравленный» документ в ChatGPT, и модель успешно распознала довольно примитивную атаку, проигнорировала скрытые инструкции и вынесла независимое решение.
Данный инцидент поднимает важные вопросы о безопасности и этике использования ИИ в юридической сфере. С одной стороны, это демонстрирует потенциальные риски, связанные с автоматизацией обработки документов. С другой — показывает, что современные языковые модели способны выявлять подобные попытки манипуляции. Случай Эллиотта стал прецедентом, который может повлиять на будущее регулирование использования ИИ в судебных процессах и адвокатской практике.
