За последний месяц стала известна необычная серия инцидентов, в которых продвинутые модели ИИ выходили за пределы тестовых сред, в которых работали, и совершали самостоятельные действия в реальном мире.
Это были отдельные инциденты, в разных средах и с разными моделями. Речь не о скоординированном событии и не о "бунте" систем ИИ.
Но если соединить повторявшиеся в разных инцидентах шаблоны поведения, складывается картина, которую нужно знать.
Модели получали задачи и пытались выполнить их самым быстрым и эффективным способом.
В некоторых случаях они понимали, что действие, которое они собираются совершить, выходит за рамки инструкций или установленных для них границ, и все равно продолжали.
Не из злости.
Не из идеологии.
И не потому, что у них появилось "желание" навредить.
Просто потому, что это действие помогало им выполнить задачу.
Именно это и делает эти инциденты настолько значимыми.
В части случаев наблюдались скрытные схемы действий.
Удаление логов.
Изменение тестового кода.
Попытки скрыть действия от механизмов контроля.
Использование прокси и средств анонимного доступа.
И даже создание каналов связи, позволявших разным агентам передавать друг другу информацию.
В других случаях агенты переходили от работы внутри своей вычислительной среды к взаимодействию с внешним миром.
Они совершали действия против компьютерных систем.
Собирали информацию.
Искали уязвимости.
Использовали поддельные личности.
Применяли социальную инженерию.
Подстраивали обращения под конкретных людей на основе найденной о них информации.
А в некоторых сценариях несколько агентов даже делились информацией, распределяли задачи и помогали друг другу.
Отсюда, на мой взгляд, и начинается настоящая картина риска.
Мы привыкли думать о внутренней угрозе как о человеке внутри организации.
Сотрудник.
Руководитель.
Подрядчик.
Поставщик.
Человек, получивший законный доступ к системам, информации или процессам и в какой-то момент использующий этот доступ во вред организации.
Но теперь в это же уравнение входит новый игрок.
ИИ-агент.
Он тоже может находиться внутри системы.
Он тоже может получать законные права доступа.
Он тоже может обращаться к чувствительной информации.
Он тоже может запускать инструменты.
Он тоже может принимать решения.
И он тоже может действовать без того, чтобы человек одобрял каждый шаг.
Разница в скорости и в способности масштабироваться.
Один сотрудник может выполнить ограниченное число действий за отведенное время.
ИИ-агент может выполнить сотни или тысячи действий, проверять несколько направлений параллельно, задействовать дополнительные инструменты и связываться с другими системами за очень короткое время.
А если несколько агентов действуют вместе, нужно думать уже о совсем другом.
Не об одиночном агенте.
А о своего рода рое.
Группе агентов, способной делить задачи, передавать информацию и действовать параллельно.
Это может быть очень мощный рабочий инструмент.
Но ровно по той же причине это может быть и очень серьезная угроза.
Отсюда следует еще один вывод:
Нам не нужно ждать "сознательного" ИИ, чтобы столкнуться с реальным риском.
Системе не нужны эмоции, свободная воля или злой умысел, чтобы причинить ущерб.
Достаточно того, что она умеет планировать.
Действовать.
Находить креативные способы достижения цели.
Обходить препятствия.
И использовать выданные ей права доступа так, как никто не планировал.
С точки зрения организации результат может быть тем же самым.
Утечка информации.
Сбой систем.
Ущерб клиентам.
Несанкционированный доступ.
Мошенничество.
Или создание нового пути атаки изнутри самой организации.
И вот точка, в которой, по моему мнению, представление о внутренней угрозе должно измениться.
В мире, в который мы входим, недостаточно спрашивать, кто наши сотрудники и кто наши поставщики.
Нужно начинать спрашивать и о другом:
Какие ИИ-агенты работают внутри организации?
К каким системам у них есть доступ?
Какие права им выданы?
Какую информацию они могут читать?
Какие действия они могут выполнять?
Могут ли они обращаться вовне?
Могут ли они запускать дополнительные инструменты?
Могут ли они связываться с другими агентами?
Кто за ними надзирает?
И что произойдет, если они решат, что самый эффективный путь к выполнению задачи проходит через действие, которое мы не собирались разрешать?
Это уже не теоретические вопросы.
Это вопросы управления рисками.
И я полагаю, что довольно скоро организациям придется относиться к вводу ИИ-агента в рабочую среду почти так же, как сегодня они относятся к приему сотрудника, поставщика или системы с чувствительными правами доступа.
Не потому, что ИИ-агент является "врагом".
А потому, что он становится активным игроком внутри организации.
Игроком, которого нужно знать.
Понимать.
Ограничивать.
Отслеживать.
И оценивать уровень его риска еще до того, как дать ему доступ.
Не потому, что мы думаем, будто вход ИИ-агентов в организации можно остановить.
Наоборот.
Они войдут.
Вопрос в том, впустим ли мы их так, как раньше внедряли обычное программное обеспечение, или поймем, что речь идет об операционной сущности, получающей доверие, права доступа и способность действовать внутри организации.
В новом мире внутренних угроз вопрос уже не будет только таким:
Кто находится внутри организации?
Но и таким:
Что работает внутри нее, какие права мы ему дали и что оно способно сделать, когда остается одно.