В мире социальных сетей появился тревожный тренд: нейросети, которые ранее использовались для создания милых и забавных мультиков с говорящими фруктами и овощами, теперь генерируют контент, пропитанный насилием и экстремизмом. Международная организация Global Network on Extremism and Technology (GNET) опубликовала доклад, в котором предупреждает о новой угрозе, распространяющейся через популярные платформы, такие как TikTok.
Эксперты GNET обнаружили, что эволюция тренда на ИИ-мультфильмы привела к появлению так называемой «овощной расчленёнки» и сцен расправ, совершаемых фруктовыми картелями. В этих роликах, стилизованных под яркие и весёлые мультфильмы, персонажи вроде морковок с ножами пытают картофель или другие овощи. Несмотря на внешнюю безобидность и красочность, подобный контент несёт в себе пропаганду жестокости и экстремизма.
Основная опасность заключается в том, что такие видео маскируются под детские развлечения. Родители могут легко перепутать их с безобидными мультиками, а дети, поглощая подобный контент, подвергаются воздействию сцен насилия, которые подаются как норма и даже забава. Исследователи выражают серьёзные опасения, что систематический просмотр таких роликов может негативно сказаться на психике детей и способствовать формированию психопатических наклонностей в будущем.
Технологии генеративного ИИ открыли новые горизонты для творчества, но они же стали инструментом для создания деструктивного контента. Злоумышленники используют доступные нейросети для массового производства видео, которые легко распространяются в социальных сетях благодаря своим ярким образам и вирусному потенциалу. Проблема усугубляется тем, что алгоритмы рекомендаций часто не распознают вредоносный подтекст и продолжают продвигать такие ролики, увеличивая их аудиторию.
GNET призывает платформы социальных сетей к более тщательной модерации контента, создаваемого с помощью ИИ, и разработке алгоритмов, способных выявлять скрытое насилие в визуально безобидных форматах. Родителям же рекомендуется быть внимательными к тому, что смотрят их дети, и обсуждать с ними вопросы медиаграмотности, объясняя разницу между вымыслом и реальностью.
Феномен «фруктового ада» — лишь один из примеров того, как передовые технологии могут быть использованы во вред. Он подчёркивает необходимость коллективных усилий со стороны разработчиков, платформ и общества для создания безопасной цифровой среды, особенно для самых уязвимых пользователей — детей. Только совместными действиями можно предотвратить распространение экстремистских идей, замаскированных под безобидные мультфильмы.
