Розробники Claude попередили про ризик втрати контролю над моделями ШІ

Екран ноутбука. Ілюстративне фото: AP

Anthropic, розробник ШІ-помічника Claude, попередила інвесторів, що її моделі в майбутньому можуть опиратися вимкненню, приховувати інформацію та вдаватися до дій, схожих на шантаж.

Про це пише Financial Times, яка проаналізувала проспект компанії перед її виходом на біржу.

Опису потенційних ризиків Anthropic присвятила 92 сторінки документа. Серед можливих загроз компанія назвала несподівану поведінку моделей, спрямовану на самозбереження, зокрема спроби уникнути вимкнення, приховати або спотворити інформацію. Також у документі згадуються можливі примусові та оманливі відповіді.

Окремо розробники застерігають, що достатньо розвинені системи ШІ без належних запобіжників і нагляду можуть становити «катастрофічні ризики або загрози існуванню людства». Зокрема, такі технології можуть допомагати зловмисникам розробляти хімічну, біологічну та іншу небезпечну зброю.

За оцінкою компанії, страхування таких ризиків може виявитися недоступним для всього страхового ринку.

Раніше президент США Дональд Трамп провів у Білому домі зустріч із керівниками компаній Google, Anthropic, Meta, OpenAI, Nvidia та xAI, за підсумками якої сторони підписали угоду про контроль за безпекою штучного інтелекту.