ИИ как угроза корпоративной безопасности — эксперты разобрали риски эпохи генеративных моделей

Модератором дискуссии выступила президент ГК InfoWatch Наталья Касперская, которая напомнила участникам цифры опроса, проведенного Ассоциацией по защите деловой информации (BISA). В нем приняли участие преимущественно специалисты по информационной безопасности. Самым критичным вектором угроз они единодушно назвали утечку данных. Любопытно, что с реальными утечками из-за ИИ большинство респондентов пока не сталкивались — таких оказалось 54%, тогда как 23% подобный опыт уже пережили. При этом большинство опрошенных уверены, что пользы от технологии все же больше, чем рисков, хотя 34% придерживаются противоположного мнения. В качестве достаточных мер регулирования респонденты назвали государственное регулирование, внутренние правила бизнеса и просветительскую работу.

Модели дешевеют, а агенты становятся главным риском

Первым слово взял Дмитрий Лазаренко, руководитель направления облачных и дата-сервисов компании VK Tech . Он напомнил, что генеративный ИИ существует уже больше четырех лет, и за это время себестоимость его использования радикально снизилась. По данным исследования Stanford AI Index, стоимость инференса — то есть работы модели по ответам на запросы — упала за два года в 280 раз, что многократно расширило масштабы применения технологии. При этом, по его словам, модели стремительно превращаются в commodity, в массовый товар: «приходит новая модель, ее приходится заново обучать, заново проверять». Срок жизни модели — всего около полугода.

Гглавным риском ближайших лет эксперт назвал ИИ-агентов. Это совершенно новое направление, в котором, как он отметил, с точки зрения информационной безопасности пока нет устоявшихся практик и накопилось немало угроз. Особую тревогу вызывает статистика: 91% компаний используют ИИ-агентов, но лишь 10% имеют стратегию управления их идентичностями. А ведь агенты, как пояснил Лазаренко, зачастую обладают большими привилегиями, чем любой живой сотрудник. В качестве иллюстрации он вспомнил критическую уязвимость в Microsoft Copilot, обнаруженную год назад: «отправили письмо, его даже не открывали, но агент отработал это письмо и смог выдать доступ ко всем файлам, которые были внутри контролируемого периметра».

Цена бесконтрольности измерима в деньгах. По данным американского рынка, неуправляемый ИИ обходится примерно на 700 тысяч долларов дороже за инцидент: при средней стоимости утечки около 4 миллионов долларов в случае с неуправляемым ИИ она вырастает до 4,7 миллиона.

Решение Дмитрий Лазаренко видит не только в усилении информационной безопасности, но и в перестройке самой организационной структуры. «У каждого агента должен быть владелец, человек конкретный, который отвечает за то, что агент принимает корректные или некорректные решения», — подчеркнул он, добавив философское наблюдение: уволить агента за ошибку нельзя, его можно лишь переписать, но ответственность все равно должен нести человек. Среди обязательных мер он назвал реестр агентов, аудит-журнал их решений, четкие границы прав и контура, а также «выключатель мгновенный, который отключает агентов, которые вышли из-под контроля».

Отвечая на вопрос модератора о российской специфике, Дмитрий Лазаренко признал, что у нас доля внедрений пока ниже западных 91%. Опираясь на опыт примерно 90 проведенных пилотов в крупных компаниях, он отметил, что тема стала самой трендовой и востребованной, хотя многие пилоты проваливаются — именно потому, что оргструктуры и процессы остались прежними. Тем не менее за этим направлением, по его убеждению, будущее: чем больше компания, тем больше инерция, но движение в эту сторону неизбежно.

Участники круглого стола
Фото: ICT-Online.ru

Трансформация уже произошла — без указаний сверху

Виктор Бобыльков, директор по информационной безопасности облачного провайдера MWS Cloud, предложил взглянуть на картину шире. По его словам, многие топ-менеджеры мечтают провести «ИИ-трансформацию» своего бизнеса, не замечая, что она уже свершилась сама собой. Из 8,5 миллиарда жителей Земли полтора миллиарда уже используют искусственный интеллект для решения повседневных и рабочих задач. При этом около 60 миллионов человек по всему миру оплачивают ИИ-подписку, а порядка 10 миллионов платных подписок приходится на корпоративный сектор.

«Он в каждом телефоне, он в каждом компьютере, он в каждом запросе в поисковик», — описал Бобыльков масштаб проникновения технологии, заметив, что даже поисковые системы теперь отвечают пользователю силами генеративных моделей. Сотрудники применяют ИИ для изучения новых технологий, генерации данных, написания и рефакторинга кода, анализа логов — в ИТ-отрасли он используется повсеместно.

Среди типичных проблем пользователей эксперт выделил неточные или устаревшие ответы старых моделей, отсутствие доступа к топовым западным решениям, неумение правильно сформулировать запрос и, конечно, риск утечки кода или корпоративных данных. Корень проблемы утечек он видит в удобстве: открыть сайт модели и отправить туда запрос проще всего. А значит, и решение лежит в той же плоскости — нужно сделать корпоративный инструмент удобным. «Надо в компаниях организовать нормальный корпоративный шлюз прокси, навесить все необходимые защитные инструменты и таким образом решить эту проблему», — пояснил он.

Концептуально ИБ-эксперт предложил разделять угрозы ИИ на три модели: угрозы для AI-инфраструктуры, угрозы для самих моделей (включая галлюцинации) и, наконец, угрозы для данных, которые он считает ключевыми. «Большинство компаний не умеют работать с правильным потоком данных, которые необходимо подавать в искусственный интеллект или в AI-агенты», — констатировал Виктор, особо подчеркнув важность структурирования данных и ограничения доступа между подразделениями: у HR и разработчиков не должно быть доступа к одним и тем же массивам. Отвечая на уточняющий вопрос о готовых методиках, он указал на OWASP Top 10 для LLM и AI-агентов — известный открытый перечень основных угроз, включающий те же промпт-инъекции и отравление данных.

Анатомия утечки: как данные покидают периметр

Прикладную часть дискуссии взял на себя Сергей Сидоренко, ведущий эксперт по развитию продуктов для защиты данных ГК InfoWatch. Он посмотрел на проблему глазами DLP-систем и начал с простой и узнаваемой мысли: сотрудники используют ИИ «для пользы», стремясь просто ускорить и улучшить свою работу, не задумываясь о последствиях.

«Взял Excel-файлик, закинул в ChatGPT... Посмотрел, что там. Вот тебе готовый анализ», — описал Сергей Сидоренко самый распространенный сценарий, когда клиентская база с именами, телефонами и суммами платежей за минуты покидает периметр компании. По тому же принципу в нейросеть отправляют внутренний план развития ради генерации стратегии, фрагменты исходного кода для проверки и персональные данные соискателей.

Чтобы доказать, что это не теория, эксперт привел громкие публичные кейсы. Сотни тысяч приватных чатов с ботом Grok оказались проиндексированы Google. Компания Anthropic случайно опубликовала около 500 тысяч строк исходного кода. HR-бот McDonald's, защищенный логином admin и паролем 123456, привел к компрометации данных 64 миллионов соискателей. А свежее исследование RedAccess, проведенное в мае, выявило около 380 тысяч общедоступных приложений, созданных с помощью ИИ-инструментов, из которых порядка пяти тысяч раскрывали конфиденциальные данные. Не обошел Сидоренко вниманием и историю Samsung, и случай с агентством по кибербезопасности США, чей сотрудник загрузил служебные документы с пометкой «только для официального использования» в публичный ChatGPT.

Далее эксперт разобрал типовые сценарии компрометации данных с точки зрения DLP. Помимо работы в публичных сервисах и суммаризации документов — когда сотрудник вместо чтения нескольких канцелярских документов отправляет их в нейросеть «чтобы не читать», — он выделил принципиально иной по природе сценарий промпт-инъекций. Здесь, по словам Сидоренко, речь идет не об энтузиасте, а о злом умысле: «у человека есть понимание, что в ИИ-системе есть какие-либо конфиденциальные данные, на которых эта система обучалась». Таких сотрудников, подчеркнул он, нужно «взять на карандаш» и провести беседу.

Отдельную тревогу вызывают встроенные в бизнес-приложения агенты. Сидоренко обратил внимание бизнеса на то, что ИИ сегодня встроен едва ли не в каждое второе приложение, а сотрудники зачастую даже не подозревают об этом. Хорошим тоном со стороны вендоров он считает открыто сообщать о наличии и принципах работы ИИ — и в качестве позитивного примера привел платформу для онлайн-конференций, разместившую на сайте баннер о том, что данные клиентов не используются для обучения. Замыкает список сценариев раскрытие исходных данных из векторных баз: появление на компьютере рядового сотрудника файла с эмбеддингами — явная аномалия. «Вряд ли этот человек интересуется, приключения захотел», — иронично заметил эксперт.

Сидоренко описал трехуровневую логику работы ГК InfoWatch: это  перехват и блокировка на первом уровне, анализ поведения подозрительного пользователя на втором и аналитика с расследованием на третьем. Эксперт поделился практическими рекомендациями для бизнеса, поставив на первое место культуру безопасности. Среди других мер — внедрение периметра ИИ с постоянно обновляемым списком ресурсов, разграничение прав человека и ИИ-агентов, контроль доступа вплоть до жесткого ограничения (как это было сделано в упомянутом кейсе с Samsung), анонимизация персональных данных и принцип Zero Trust. «Разрешено только то, что одобрено», — резюмировал он. На вопрос об исчерпывающем характере списка эксперт ответил образно, сравнив гонку защиты и атаки с автомобильными сигнализациями: «придумывают новые замки, и на следующий день уже есть отмычка».

Регуляторика: суд смотрит на действия, а не на инструмент

От технических деталей дискуссия перешла к правовому полю. Илья Башкиров, юрист по информационной безопасности ГК InfoWatch, рассказал, что специально сопоставил топ-10 рисков OWASP с тем, что уже существует в российской регуляторике — в 117-м приказе ФСТЭК для государства и в проекте Федерального закона об искусственном интеллекте, предложенном Минцифры РФ. Вывод оказался обнадеживающим: «По сути у нас все не так плохо». Практически все риски находят законодательное отражение, хотя 117-й приказ содержит всего два пункта об ИИ, а проект закона носит скорее рамочный характер.

Однако статичных требований, по его мнению, недостаточно — важно, на каком «двигателе» рынок будет их соблюдать. Изучив судебную практику, Башкиров пришел к двум выводам. Во-первых, суды фокусируются на реальных процессах, а искусственный интеллект выступает лишь дополнительным инструментом. Это касается и споров о замене сотрудников ИИ, и защиты прав потребителей. Показателен громкий пример: если сторона представляет суду недостоверную информацию, порожденную галлюцинацией ИИ, ответственность все равно несет она сама. Более того, Верховный суд требует раскрывать факты, полученные с применением ИИ, а попытка ввести суд в заблуждение грозит штрафом — «не потому, что вы использовали искусственный интеллект, а потому, что вы использовали его в процессе, который изначально негативен».

Второй вывод касается ответственности при сбоях. С 2022 года в практике закрепилось, что киберинцидент — даже вызванный внешней атакой — рассматривается как нормальный деловой риск стороны, который она должна учесть и которым обязана управлять. Признание инцидента форс-мажором случилось лишь однажды, когда оператор доказал, что максимально старался минимизировать вред. В вопросе утечек, подытожил Башкиров, действует принцип периметра: «не важен способ, будь это ИИ или будь это какой-то злоумышленник... а важно просто сам факт того, что информация утекла, значит, виновен».

«Черный ящик» — это миф: что показала проверка регионов

Дмитрий Служеникин, секретарь Консорциума исследований безопасности технологий искусственного интеллекта, перевел разговор в плоскость государственных систем. Он напомнил, что доверенный ИИ — тема не новая: соответствующий ГОСТ действует с 2021 года и уже содержит определение искусственного интеллекта, практически совпадающее с тем, что закреплено в «Стратегии развития ИИ до 2030 года». Зона ответственности консорциума ограничена государственными информационными системами и объектами критической информационной инфраструктуры.

Реальная работа в регионых — в этом году разобраться в ситуации захотели уже 16 регионов против 6 годом ранее — вскрыла целый ряд проблем. Среди них неполнота исходных данных, когда даже владельцы систем не обладают полной информацией от вендоров, фактические ошибки в описаниях и несоответствие заявленной архитектуры реальной. Солженикин поделился почти анекдотическими примерами: один вендор перечислил для фреймворков уязвимости, которых попросту не существует; другой заявил об использовании фреймворка NVIDIA NEMO на серверах, где вовсе нет видеокарт NVIDIA.

Для оценки консорциум разработал методику уровня доверия, охватывающую модели, данные, фреймворки и инфраструктуру, со шкалой от первого уровня (неизвестное происхождение, отсутствие проверок) до проверенного блока. Регионы пока находятся между первым и вторым уровнями. Особенно остро вопрос стоит потому, что многие ГИС являются объектами КИИ, а с вступлением в силу соответствующих норм за нарушения предусмотрена уголовная ответственность — что, по наблюдению эксперта, заметно меняет отношение руководителей к прозрачности.

Главный тезис Служеникина прозвучал решительно: «нет черного ящика». По его словам, работа ИИ от уровня представления до инфраструктуры вполне объяснима, понятна и должна быть обеспечена средствами защиты и контроля — «это можно сделать, это не магия». Отвечая на провокационный вопрос модератора, не стоит ли вовсе отказаться от внедрения ИИ в КИИ, он привел пример крупной госкомпании, где менеджеры из HR, финансов и юриспруденции восторгались возможностями технологии, а технологи, отвечающие за химические и производственные процессы, заняли консервативную позицию. Пока новая технология не получит доказанной, сертифицированной и объяснимой системы безопасности, к критическим процессам ее не подпустят — ведь, как заметила модератор, «с вероятностью 5% ошибиться в хлорировании воды в городе — не вариант».

Локальные сети, культура и роботы против роботов

Завершающая часть прошла в формате коротких вопросов. Отвечая о безопасности локальных нейросетей, Дмитрий Лазаренко признал, что для критичных систем вроде атомной станции альтернативы локальным решениям нет, тогда как средний и малый бизнес из-за нехватки инвестиций используют и российские, и зарубежные модели. При этом он честно отметил фундаментальную зависимость: базовые фреймворки вроде TensorFlow и PyTorch остаются иностранными, а создание собственной компонентной базы, начиная с графических ускорителей, — задача на десятилетия. «Это большой вызов для нашей страны», — констатировал он.

На вопрос, почему сотрудники продолжают загружать конфиденциальные данные, несмотря на осознание рисков, Бобыльков ответил, что проблема в культуре, напомнив известный афоризм о том, что культура «съест на завтрак любую стратегию». Он призвал безопасников не запрещать, а возглавлять процесс — показывать success story, демонстрировать, что компания в тренде, и формировать доверие к подразделению ИБ. Модератор шутливо упрекнула его в идеализме, на что эксперт парировал: «Я 30 лет работаю в информационной безопасности, в людей не верю». Вместе с осознанностью, по его словам, нужны и строгие регламентирующие документы с встроенной ответственностью — «не только доброе слово, но и пистолет».

Сергей Сидоренко рассказал, что генеративный ИИ давно работает и на стороне защитников: в продуктах InfoWatch применяется внутренняя LLM, которая суммаризирует события и помогает офицеру безопасности быстрее справляться с рутиной — поиском персон, событий и инцидентов через удобный чат-бот, понимающий запросы на обычном языке. Модератор резюмировала наступающую реальность метко: «Роботы бьются с роботами».

Юрист Илья Башкиров, отвечая на вопрос о защите человека от замены ИИ, привел пример американской компании, которая обязала сотрудников зафиксировать свои действия, натренировала на этом нейросеть и уволила 30 тысяч человек. Российское право, по его словам, исторически содержит серьезные гарантии трудовых прав, однако нового компенсационного инструмента — выплаты за интеллектуальный вклад сотрудника в обучение ИИ — пока не существует. Впрочем, с учетом зарубежных исков такую систему, полагает он, выработают в ближайшие годы. Модератор добавила, что упомянутая компания уже начала нанимать уволенных обратно, поскольку выяснилось, что «один искусственный интеллект без людей не работает».

Наконец, Дмитрий Служеникин высказался о роли господдержки разработчиков доверенного ИИ, сославшись на свежий указ администрации США: доступ к государственным деньгам там увязывается с обязанностью раскрывать информацию. Подобная логика, по его мнению, способна снижать риски. В России же продолжают действовать серьезные меры поддержки для профильных институтов компетенций и центров разработки.

Открытая страница

Подводя итог, модератор Наталья Касперская обратила внимание на главное противоречие момента: об искусственном интеллекте в стране говорят очень много, но о том, что генеративный ИИ порождает огромное количество рисков, знают и говорят немногие. Дискуссия наглядно показала, что осознание угроз — особенно в сфере генеративного ИИ — находится лишь на начальном этапе, и для движения вперед необходима комплексная работа сразу по трем направлениям: технической защиты, регулирования и обучения. Прошедший Круглый стол, по словам участников, должен стать одной из первых открытых страниц в этом большом и неизбежном разговоре.