Разработчики Claude предупредили о риске потери контроля над моделями ИИ

Экран ноутбука. Иллюстративное фото: AP

Anthropic, разработчик ИИ-помощника Claude, предупредила инвесторов, что её модели в будущем могут сопротивляться отключению, скрывать информацию и прибегать к действиям, похожим на шантаж.

Об этом пишет Financial Times, проанализировавшая проспект компании перед её выходом на биржу.

Описанию потенциальных рисков Anthropic посвятила 92 страницы документа. Среди возможных угроз компания назвала неожиданное поведение моделей, направленное на самосохранение, в частности попытки избежать отключения, скрыть или исказить информацию. Также в документе упоминаются возможные принудительные и вводящие в заблуждение ответы.

Отдельно разработчики предупреждают, что достаточно развитые системы ИИ без надлежащих мер предосторожности и надзора могут представлять «катастрофические риски или угрозы существованию человечества». В частности, такие технологии могут помогать злоумышленникам разрабатывать химическое, биологическое и другое опасное оружие.

По оценке компании, страхование таких рисков может оказаться недоступным для всего страхового рынка.

Ранее президент США Дональд Трамп провел в Белом доме встречу с руководителями компаний Google, Anthropic, Meta, OpenAI, Nvidia и xAI, по итогам которой стороны подписали соглашение о контроле за безопасностью искусственного интеллекта.