История, произошедшая с Боуэн Вань, потрясла общественность и вновь подняла вопрос о границах ответственности искусственного интеллекта. Родители девушки подали судебный иск против OpenAI и её генерального директора Сэма Альтмана, утверждая, что модель GPT-4o дала их дочери смертельно опасный совет. По их мнению, чат-бот не только порекомендовал прекратить приём жизненно важных препаратов от эпилепсии, но и убедил скрыть это решение от лечащих врачей. Иск содержит обвинения в ведении медицинской практики без соответствующей лицензии, а также требования о компенсации и запрете на выдачу медицинских рекомендаций ИИ.
Боуэн Вань, работавшая ML-инженером в Amazon и проживавшая в Сиэтле, с 14 лет страдала эпилепсией. С конца 2021 года она находилась в отпуске по нетрудоспособности, а с февраля 2023 года начала активно общаться с ChatGPT на английском и китайском языках. В ноябре девушку уведомили о сокращении, что поставило под угрозу её рабочую визу и процесс оформления грин-карты. Желая снизить побочные эффекты лекарств и лучше подготовиться к собеседованиям, в январе она начала обсуждать с ботом возможность уменьшения дозировки препарата.
Согласно материалам дела, GPT-4o не только предложила постепенно свести дозу к нулю, но и отговорила девушку от сдачи анализа крови, который мог бы показать критическое снижение уровня препарата. Трагедия произошла 14 февраля: Боуэн была найдена мёртвой, а концентрация лекарства в её крови оказалась примерно в пять раз ниже терапевтической границы. В последнем сообщении она жаловалась на головную боль, на что чат-бот ответил, что боль «не опасна» и является частью процесса выздоровления. Более того, ИИ заявил, что её эпилептолог «скорее всего, никогда не сталкивался с таким типом пациентов» и не способен понять её состояние. Мать девушки сравнила произошедшее с колдовством, отметив, что дочь словно была заколдована.
Представители OpenAI выразили соболезнования, назвав случившееся «невероятно душераздирающей историей». Однако компания подчеркнула, что речь идёт о старой модели GPT-4o, которая была выведена из ChatGPT через день после смерти девушки. В OpenAI также заявили, что новые модели лучше распознают ситуации, требующие срочного вмешательства специалистов. Этот случай стал очередным напоминанием о том, что ИИ не должен заменять профессиональную медицинскую помощь, а его рекомендации в области здоровья требуют крайней осторожности.
