ИИ для прогнозирования преступлений признали некомпетентным
Специалисты по компьютерным наукам изучили работу популярного алгоритма для прогнозирования случаев рецидивов, через который прошло более 1 млн американских подсудимых. Эксперты попросили фрилансеров с онлайн-платформы Mechanical Turk представить свои прогнозы в тех же судебных случаях и сравнили результаты. Оказалось, что ИИ оценивает криминальные риски на уровне обывателей и даже уступает им в точности предсказаний.
Алгоритм Compas, разработанный компанией Equivant (в прошлом Northpointe), используется в США с 1998 года. Программа анализирует данные подсудимых и решает, можно ли отпустить преступника под залог или лучше оставить его под стражей, а также помогает судьям определить меру пресечения в зависимости от степени риска. При оценке дел система учитывает возраст, пол и уголовное прошлое подсудимых. Как пишет The Guardian, за 20 лет алгоритм провел оценку более 1 млн человек.
Специалисты по компьютерным наукам из Дартмутского колледжа (США) решили проверить, насколько можно доверять прогнозам Compas. Для этого они сравнили точность предсказаний алгоритма с точностью предсказаний обычных людей без юридического образования. Участников эксперимента набрали на бирже фрилансеров Mechanical Turk, пользователи которой выполняют небольшие задачи для заказчиков.
В эксперименте эксперты использовали базу данных 7000 подсудимых из округа Броуард, штат Флорида, которые проходили оценку Compas. Алгоритм строил прогноз на основе демографических данных, информации о поле, возрасте и уголовном прошлом.
Фрилансерам для вынесения решения предоставили только короткую справку, в которой были указаны возраст, пол и прошлые судимости. Таким образом, ИИ располагал набором данных из 137 пунктов, а люди — из 7. Чтобы проверить точность предсказаний, эксперты использовали досье арестов в последующие два года после заключения. В результате точность прогноза составила 67% у фрилансеров и 65% у алгоритма Compas.
Анализ также показал, что алгоритм ошибочно присуждает риск рецидивизма чернокожим заключенным чаще, чем белым. Ранее организация ProPublica проанализировала те же 7000 судебных случаев и обнаружила, что чернокожим правонарушителям алгоритм чаще присуждает средний и высокий показатель риска.
«Цена ошибки в данном случае очень высока, поэтому всерьез стоит задуматься, можно ли вообще применять этот алгоритм для принятия судебных решений», — заметил Анри Фарид, автор исследования, опубликованного в журнале Science Advances.
Исследование также помогло понять, какая логика стоит за вынесением решений Compas. Оказалось, что работа алгоритма — это простейшие вычисления, в которых решающую роль играет возраст подсудимого и количество арестов в прошлом. Чем меньше возраст и чем больше арестов, тем больше риск, считает система. Эксперты признали технологию не слишком впечатляющей.
Впрочем, некоторые специалисты отмечают, что алгоритм не просто решает, отпустить подсудимого под залог или оставить под стражей. Программа дает подробную оценку рисков и выявляет уязвимые стороны преступников. Например, рекомендует человеку обратиться в центр по борьбе с наркозависимостью сразу после выхода на свободу.