Собственный фреймворк безопасности для ИИ появился в России

В Москве на DevSecOps-конференции Swordfish PRO специалисты показали новый фреймворк безопасности ИИ от Swordfish Security. Речь не просто о инструментах — модель включает возможные риски и дорожную карту безопасной разработки ИИ-технологий, адаптированную под Россию.

Фреймворк опирается на международные карты угроз и зарубежные стандарты разработок, но ориентирован на законы и особенности быта отечественных компаний: регулирование, инфраструктуру, уровень зрелости цифровых решений.

Ассоциация Финтех и Swordfish Security выяснили: 25% крупнейших финансовых компаний уже столкнулись с инцидентами, связанными с ИИ. Это тревожный знак: технологии быстро входят в бизнес, но меры безопасности пока не всегда успевают развиваться.

Юрий Сергеев, управляющий партнер Swordfish Security, заметил: ПО, усиленное ИИ, усложняет систему безопасности.

«Доверие становится новой валютой цифрового мира», — сказал он, подчеркнув, что безопасность уже не просто защита технологий, а защита доверия.

Александр Товстолип из Ассоциации Финтех отметил: отрасль ждёт инструментов защиты языковых моделей. Некоторые компании уже применяют гибридный подход: ИИ задействуют для ряда задач, но критические бизнес-процессы сохраняют под «ручным» контролем.

В новой таксономии угроз, представленной на конференции, в ТОП-3 попали:

промпт-инъекции;«отравление» данных или повреждение данных; раскрытие чувствительных данных моделью ИИ.

Юрий Шабалин, директор по развитию ИИ в Swordfish Security, оценил риски как крайне высокие. Он отметил, что даже простое добавление чат-бота на сайт может открыть доступ к внутренней информации, если бот получает доступ к базе данных и одновременно «смотрит» внешний интернет.

Источник: hightech.fm