Результаты исследования угроз и влияния генеративного искусственного интеллекта на кибербезопасность

Берн, 05.07.2024

Появление новых кибертехнологий также сопровождается новыми угрозами и последствиями.

Кампус киберзащиты Федерального ведомства  Швейцарии по оборонным закупкам во второй раз публикует исследование в открытом доступе по этой теме.

Это подчеркивает риски и проблемы, возникающие при использовании генеративного искусственного интеллекта (ИИ) в кибербезопасности. 

Исследование помогает экспертам и лицам, принимающим решения из государственного управления и промышленности, в оценке рисков использования и разработке мер безопасности.

Развитие и распространение искусственного интеллекта представляют собой серьезные проблемы для безопасности в киберпространстве. В частности, модели машинного обучения для генерации текстов, изображений и видео, более известные под термином «генеративный искусственный интеллект (ИИ)», становятся все более мощными. Они широко используются среди населения. 

Однако генеративный ИИ сопряжен со значительными рисками неправомерного использования, такими как дипфейки, фейковые новости и попытки мошенничества. 

В то же время сознательное использование ИИ также может иметь положительные эффекты.

Влияние больших языковых моделей на кибербезопасность

Исследование показывает, что манипуляции и неправильное использование алгоритмов обучения могут поставить под угрозу безопасность используемых приложений ИИ. 

Например, модели машинного обучения могут генерировать текст или программное обеспечение, некоторые из которых содержат тонкие ошибки, которые, однако, можно найти только с трудом. Большие языковые модели (LLM) произвели революцию в понимании языка и уже сегодня используются в продуктах и приложениях, связанных с безопасностью. С одной стороны, LLM позволяют более эффективно бороться с кибератаками, но в то же время злоумышленники могут использовать LLM для недорогого создания вредоносных программ, фишинговых сообщений и вредоносных чат-ботов.

Укрепление кибербезопасности

Большинство LLM сегодня производятся за рубежом. Соответственно, для таких государственных субъектов, как Швейцария, важно понимать, какие существуют зависимости от этих иностранных производителей и какие риски связаны. 

Это исследование с открытым доступом предлагает ценную информацию для экспертов и лиц, принимающих решения в области кибербезопасности. В этом совместно разработанном исследовании кампус CYD и Университет прикладных наук и искусств Западной Швейцарии (HES-SO) подчеркивают необходимость противостоять быстро растущим технологическим разработкам и принимать упреждающие меры.

Наиболее важными выводами исследования являются:
• генеративный искусственный интеллект и, в частности, большие языковые модели (LLM) сопряжены с существенными новыми угрозами в отношении кибербезопасности;
• использование генеративного искусственного интеллекта в правительстве, экономике или в обществе должно осуществляться с осторожностью;
• Проверки безопасности должны быть развернуты в цепочке обработки данных для безопасного развития и безопасного использования генеративного искусственного интеллекта.

Кампус киберзащиты
Кампус киберзащиты был основан в январе 2019 года для более быстрого прогнозирования киберразвития. Она формирует связь между DDPS, промышленностью и наукой в области исследований, разработок и подготовки кадров для киберзащиты. Он является частью Федерального управления оборонных закупок в DDPS.

Университет прикладных наук и искусств Западной Швейцарии Вале
Университет прикладных наук и искусств Западной Швейцарии Вале (HES-SO Valais-Wallis) — университет прикладных наук и искусств во франкоязычной Швейцарии. Это крупнейший университет прикладных наук в Швейцарии и второе по величине высшее учебное заведение после Цюрихского университета. Она включает в себя в общей сложности 28 школ в кантонах Фрибур, Женева, Юра, Невшатель, Вале, Во и Берн.

Источник: портал Правительства Швейцарии, 5 июля 2024 г.