Манипуляции с сознанием. Новые методы в эпоху ИИ
Противники разрабатывают сложные тактики когнитивной манипуляции, которые используют особенности мышления и восприятия человека.
Эти новые методы нацелены на когнитивные искажения, манипулируют восприятием реальности и активно контролируют внимание, чтобы формировать общественное мнение и нужные модели поведения.
Современные операции по оказанию влияния намеренно манипулируют когнитивным восприятием с целью исказить оценочные суждения. Вместо упора на рациональное восприятие, пропагандисты специально разрабатывают сообщения, активирующие у целевой аудитории ментальные «ярлыки» и нужные заказчику эмоции.
Например, смещение акцентов вызывается путем распространения ложных нарративов, соответствующих определенным устоявшимся убеждениям той или иной целевой группы, что делает такую ложь более доходчивой, восприимчивой и, соответственно, эффективной.
Усилению нужного воздействия способствует также «эффект повторения» (иллюзорной правды), когда люди начинают верить в истинность утверждения только потому, что слышали его много раз.
Распространение эмоциональной предвзятости используется путем применения насыщенного страхом или гневом контента, который быстро «распыляется» через социальные сети, блокируя любой трезвый взгляд или критический анализ.
Противники тщательно выстраивают риторику и образы, чтобы обойти аналитическое мышление, задействуя для этого предубеждения и эвристику, которые стимулируют интуитивные (эмоциональные) реакции.
Методы, вызывающие предвзятость — повторение утверждений, моральное обрамление, апеллирование к страхам — последовательно повышают уровень доверия к дезинформации и тем самым значительно повышают степень восприимчивости к её воздействию.
Фактически, убеждение формируется через внешнюю форму, а не опираясь на факты: когнитивные уязвимости аудитории (такие как слепое доверие к услышанным ранее утверждениям или словам авторитетных источников) становятся эффективным средством манипуляции.
Это стратегическое манипулирование предубеждениями является краеугольным камнем новых методов когнитивной войны.
Эти новые методы выходят за рамки индивидуальных предубеждений и меняют восприятие реальности целыми группами людей.
Технологические достижения теперь позволяют манипулировать синтетическими медиа, создавая аудиовизуальные «доказательства», которые можно использовать для поддержки ложных нарративов, а более тонкий контент, отредактированный с помощью ИИ, может со временем даже внедрить в сознание ложные воспоминания.
Например, инструменты искусственного интеллекта могут изменять подлинные изображения или видео (к примеру, изменять детали в кадрах протестов или личных фотографиях), чтобы размыть грань между подлинными воспоминаниями и сфабрикованным опытом, заставляя людей вспоминать события иначе, чем они происходили на самом деле.
На коллективном уровне государственные субъекты клонируют «официальные» (легитимные) новостные веб-сайты и правительственные веб-страницы противника в рамках дезинформационных кампаний «доппельгангер», что затрудняет аудитории отличить реальность от поддельных копий. Противники также используют ботов и большие языковые модели (LLM) для наводнения информационных каналов специально подобранным контентом, провоцирующим шумиху и путаницу, дезориентируя аудиторию.
| Справка
Большая языковая модель (БЯМ; англ. large language model, LLM) — языковая модель, основанная на нейронной сети с множеством параметров (миллиарды весовых коэффициентов и более), которая проходит предварительное обучение на обширных массивах неразмеченного текста методами самообучения (обучения c псевдометками, созданными самой моделью, а не внешним учителем), а затем подвергается тонкой настройке (fine-tuning) с применением обучения с подкреплением на основе отзывов людей (RLHF) для согласования результатов генерации с человеческими предпочтениями(alignment problem) и инструкциями. Доппельга́нгер (правильнее: До́ппельге́нгер; нем. Doppelgänger «двойник») — в литературе эпохи романтизмадвойник человека, проявляющийся как тёмная сторона личности или антитеза ангелу-хранителю. В произведениях некоторых авторов персонаж не отбрасывает тени и не отражается в зеркале. Его появление зачастую предвещает смерть героя (пример: доктор Джекил и мистер Хайд: два человека в одном). (Источник: Википедия) |
Насыщая информационную среду специально подобранным контентом, злоумышленники ставят цель заставить людей полагаться на когнитивные упрощения (например, доверять тому, что повторяется чаще всего или особо выделяется) при принятии нужных решений.
Результатом является искаженный контекст восприятия, в который злоумышленники могут вставлять практически любые нарративы и заставлять целевую аудиторию принимать их за чистую монету.
Важно, что эти методы сосредоточены на контроле контекста и интерпретационных рамок, а не просто на вставке какой-то отдельно взятой ложной трактовки.
Прибегая к помощи эвристических и интерпретационных нарративных рамок, злоумышленники теперь сосредоточили усилия на тщательном изучении процесса обработки информации, стремясь обеспечить, чтобы спонтанные интерпретации событий аудиторией укладывались в желаемый диапазон.
На практике это означает управление не только тем, ЧТО люди думают, но и КАК они думают — например, путем представления фактов, событий и явлений в нужных эмоционально окрашенных терминах, способствующих заведомо предвзятому восприятию, исключая любой трезвый взгляд и критический анализ.
Сегодня все более активно применяются методы воздействия с использованием дополненной или виртуальной реальности и нейростимуляции для прямого воздействия на опыт чувственного восприятия.
Рассматриваются также сценарии «сенсорного переключения», в которых технологии виртуальной и дополненной реальности (VR/AR) смогут имплантировать убедительные иллюзии, эффективно манипулируя восприятием целевого объекта.
Таким образом, новые тактики манипулируют самой архитектурой восприятия — от деятельности фальшивых СМИ, освещающих события в искаженном свете, до вброса заведомо ложных, подтасованных данных.
Контроль над внимания целевой аудитории стал элитным оружием в операциях психологического влияния. Диктуя нужную доминирующую тематику, на которой должна сосредоточиться аудитория, злоумышленники могут успешно скрывать свои истинные намерения и действия.
Одним из распространенных методов является организованное отвлечение внимания: информационный агрессор наводняет публичное пространство тривиальными скандалами, сенсационными циклами негодования и возмущения, а также непрекращающимися стимулами, чтобы отвлечь внимание аудитории от более важных вопросов.
Алгоритмы социальных сетей часто усиливают этот эффект, поскольку они настроены на максимальное вовлечение пользователей, тщательно подбирая поток контента, который занимает пользователей эмоционально возбуждающими, но стратегически нерелевантными второстепенными темами. Этот шум не только отвлекает, но и истощает когнитивные ресурсы, практически не оставляя места для более тщательного критического анализа.
Контроль внимания определяет то, что люди видят вещи, как интерпретируют события и даже то, что они должны забыть.
На практике селективное раскрытие информации осуществляется следующим образом: путем фильтрации информации, которую люди получают (или не получают), манипуляторы создают ограниченное мировоззрение. Такая «информационная фильтрация» гарантирует, что аудитория видит только ту картину, которая выгодна заказчику.
Например, авторитарные кампании влияния нередко больше полагаются на неполную информацию, чем на откровенную ложь путем зачистки (изоляции) информационного пространства от критического материала, выставляющих власть в невыгодном свете, неугодных политиков и граждан, а также от альтернативных точек зрения.
Таким образом, создается «туннель реальности» — воспринимаемая реальность, ограниченная тщательно отобранным контентом. Внутри этого «информационного пузыря» противоречивая информация напрочь отсутствует. Таким образом, представленная нарративная рамка остается неоспоримой и становится в определенном смысле «общепринятой истиной.»
Поведенческая наука определяет это как эффект доступности: люди судят о том, что является (или не является) правдой, на основе той информации, которая им легко доступна, зачастую просто не осознавая, сколько информации при этом было упущено.
Таким образом, отсутствие контрпропаганды по силе воздействия может быть вполне сопоставимо с активной пропагандой.
Еще одним методом контроля внимания целевой аудитории является правильный стратегический выбор времени и темпа обнародования информации. Противники могут распространять отвлекающие новости в моменты, рассчитанные на то, чтобы затмить другие события (например, утечка скандала о знаменитости накануне важных политических дебатов).
Монополизируя внимание общественности в ключевые моменты, они предотвращают тщательное расследование или коллективные действия, которые могут помешать достижению их целей.
Таким образом, новые методы рассматривают внимание как ограниченный ресурс, который можно отвлечь в нужном направлении. С помощью отвлекающих маневров, перегрузки информацией и других манипуляций противник направляют внимание аудитории в нужное ему русло, обеспечивая, чтобы взгляд общественности оставался прикованным к нужной манипулятору теме.
Эта так называемая «мягкая война» за нужное общественное восприятие нередко способна решить исход событий без единого выстрела — к тому времени, когда аудитория «очнется» от намеренно спровоцированного отвлекающего маневра, непоправимый стратегический ущерб будет уже нанесен.
