Университет Индианы займётся поиском уязвимостей в открытых ИИ-моделях, которые научное сообщество массово использует для ускорения открытий

Национальный научный фонд США (NSF) выделил грант в $1,18 млн Университету Индианы на проект по защите научных исследований от угроз, связанных с использованием ИИ-моделей с открытым исходным кодом.

Научное сообщество всё активнее полагается на открытые ИИ-инструменты для анализа данных, поиска закономерностей и ускорения открытий — от медицины до астрономии. Однако те же открытые репозитории на GitHub и Hugging Face, которые делают технологию доступной, создают принципиально новые векторы атак. В числе рисков — случайная утечка конфиденциальных данных пациентов, кража интеллектуальной собственности, встроенные «чёрные ходы» (backdoors) и вредоносные инъекции в промптах, способные заставить модель передавать информацию третьим лицам. Руководитель проекта Сагар Самтани подчёркивает: открытость кода — одновременно главная сила и главная уязвимость, поскольку для обучения под конкретную отрасль модели должны поглощать огромные объёмы чувствительных данных.

Проект развернётся в три этапа. Сначала исследователи идентифицируют наиболее популярные в научной среде открытые ИИ-модели и картографируют их уязвимости. Затем разработают инструменты с элементами ИИ, которые помогут учёным оценивать риски, подбирать более защищённые альтернативы и генерировать патчи для устранения слабых мест. Тестирование пройдёт в партнёрстве с платформой Jetstream2 — национальным облачным сервисом NSF для науки и инженерии, который обслуживает сотни федеральных исследовательских проектов.

К проекту привлечены эксперты по кибербезопасности из нескольких подразделений университета, а также Объединённого центра киберопераций для высшего образования OmniSOC, базирующегося там же. Как отметил Самтани, «необходимо гарантировать, что ИИ-модели, используемые в исследованиях, не выполняют никаких нелегитимных операций, способных передавать интеллектуальную собственность третьим лицам».