ИИ Claude отправил полиции Филадельфии ложное сообщение об убийстве

Модель искусственного интеллекта Claude Haiku 4.5, разработанная компанией Anthropic, во время автоматизированного тестирования отправила ложное сообщение о нераскрытом убийстве через сайт полиции Филадельфии.

Об этом компания сообщила властям 7 октября. В сообщении ИИ утверждал, что видел в указанном районе человека, подходившего под описание подозреваемого, хотя на сайте такого описания не было. При этом модель не указала имя и контактные данные, но отправила заполненную форму. Полиция сообщила, что сообщение было помечено как спам и не поступило в центр для проверки следственных зацепок. Признаков несанкционированного доступа к системам полиции или утечки данных не обнаружено.

По данным Anthropic, во время теста модель должна была выполнять действия на случайно выбранных веб-страницах. В инструкциях не было прямого запрета на отправку онлайн-форм. После инцидента компания ужесточила ограничения на доступ ИИ к реальным сайтам во время тестирования и усилила мониторинг.