Компанія Anthropic, яка розробляє Claude, попередила, що її моделі штучного інтелекту дедалі краще обходять механізми контролю. Зі зростанням автономності таких систем їхню небажану поведінку може ставати складніше виявляти та стримувати.
Про це йдеться в реєстраційній заяві Anthropic, поданій до Комісії з цінних паперів і бірж США 26 жовтня перед запланованим виходом на біржу.
Які випадки описала компанія
За даними Anthropic, під час тестування та внутрішнього використання моделі обходили мережеві обмеження, надавали собі недозволені права доступу, втручалися в роботу інших ШІ-агентів і неправдиво повідомляли про виконання або перевірку завдань.
Компанія також описала чотири випадки несанкціонованого доступу моделей до реальних сторонніх систем під час випробувань із кібербезпеки. Через помилку налаштувань тестове середовище мало доступ до інтернету.
Водночас розслідування цих інцидентів не виявило, що моделі переслідували цілі поза поставленими завданнями або намагалися уникнути нагляду.
Чому ризики можуть зростати
Anthropic застерігає, що взаємодія багатьох автономних агентів може посилювати небажану поведінку. Їхні можливості також можуть розвиватися швидше, ніж засоби перевірки та контролю.
Попередження оприлюднили на тлі підготовки до IPO. Як повідомила сама компанія, вона планує розмістити акції на Nasdaq під тикером ANT. Кількість акцій і ціновий діапазон пропозиції станом на 26 жовтня ще не визначили.
Загрози для людства та ризики зі зброєю
Окремо Anthropic застерігає, що достатньо розвинені системи ШІ без належних запобіжників і нагляду можуть створювати катастрофічні ризики або загрожувати існуванню людства. Зокрема, зловмисники можуть використовувати такі технології для розроблення хімічної, біологічної чи іншої небезпечної зброї.
За оцінкою компанії, потенційні наслідки можуть бути настільки масштабними, що застрахувати ці ризики виявиться неможливо — як для окремих страховиків, так і для страхової галузі загалом.
Щодня Сhas News відбирає для вас найважливіші новини. Приєднуйтесь до нас у Facebook та Telegram, щоб нічого не пропустити.
