Британская полиция годами использовала алгоритмы для предсказания преступлений, но результаты оказались катастрофическими: в девяти случаях из десяти система ошибалась, присваивая людям ложный статус «вероятного преступника». Расследование Wired раскрыло масштабный проект, который тайно велся полицией Эйвона и Сомерсета.
База данных охватывала почти 500 тысяч жителей Бристоля. В нее попадали психиатрические записи, данные о школьных обедах, жилищном статусе и даже подростковых беременностях. Алгоритмы анализировали эту информацию и присваивали каждому человеку «рейтинг риска». Например, для детей учитывались пропуски в школе, долги семьи по аренде и получение бесплатного питания.
Система работала без ведома большинства горожан. Лидер местной группы общественного контроля за полицией Джон Пеграм узнал о своем присутствии в базе данных только после долгих судебных разбирательств. Причем полиция подтвердила этот факт лишь после вмешательства адвокатов, но подробностей так и не раскрыла.
Модель предсказания краж демонстрировала точность ниже 10% на протяжении более трех лет. Полиция утверждает, что эту конкретную модель так и не развернула. Однако две другие модели — для предсказания угрозы сексуальной и криминальной эксплуатации детей — были тихо свернуты, когда выяснилось, что им нельзя доверять.
«Я не думаю, что ИИ-модель должна иметь такую власть над жизнями людей», — замечает Пеграм. Несмотря на провал, публичного разбора и официальных выводов не последовало. Более того, Великобритания сейчас вкладывает 75 миллионов фунтов в новый проект PoliceAI. Его возглавляет бывший главный констебль Эйвона и Сомерсета Энди Марш, который когда-то обещал перевести все управление на предиктивную аналитику. Теперь он настаивает, что ИИ нужно распространять по всем 43 полицейским управлениям страны «как лесной пожар».
Можно ли доверять ИИ решения о том, кто преступник? История показывает, что без прозрачности и независимого контроля такие технологии несут больше вреда, чем пользы.
