Фото: Shutterstock
OpenAI опубликовала отчёт об октябрьских мерах против злоумышленников, использовавших ChatGPT. Компания выявила аккаунты, связанные с китайскими правительственными структурами, которые применяли искусственный интеллект для разработки систем массового мониторинга. Эти пользователи просили ChatGPT помочь составить проектные предложения для крупномасштабных инструментов слежки за социальными сетями и отслеживания перемещений людей.
Один из заблокированных пользователей разрабатывал проект под названием «Модель раннего предупреждения о въезде лиц повышенного риска, связанных с уйгурами». Система должна была анализировать данные транспортных бронирований и сравнивать их с полицейскими базами для предупреждения о передвижениях людей из этой категории. Другой оператор создавал описание инструмента для мониторинга западных и китайских соцплатформ, который, предположительно, предназначался для клиента из силовых структур КНР.
OpenAI также заблокировала китайские аккаунты, работавшие над кампанией дезинформации. Операторы генерировали контент против президента Филиппин Фердинанда Маркоса, активистов демократического движения Гонконга и создавали посты о мнимом экологическом ущербе, наносимом Вьетнамом в Южно-Китайском море.
Кроме того, отмечается блокировка российских аккаунтов. Злоумышленники из РФ использовали ChatGPT для создания трояна удалённого доступа и инструментов кражи учётных данных. Операторы обходили систему защиты чат-бота, запрашивая отдельные безобидные элементы кода — конвертацию исполняемых файлов, загрузчики в памяти, извлечение паролей из браузеров, — которые затем собирали в готовые вредоносные программы. Они также разрабатывали методы сокрытия вредоносов от антивирусов и системы шифрования для управления заражёнными компьютерами. Отдельно компания пресекла деятельность российской операции Stop News, которая продолжила работу после предыдущих блокировок и теперь использовала ChatGPT для создания сценариев роликов с ИИ-ведущими.
Компания подчёркивает, что её модели отказывали в явно вредоносных запросах, а операторы не получали принципиально новых возможностей по сравнению с общедоступными ресурсами. С начала публичных отчётов в феврале 2024 года компания заблокировала более 40 сетей, нарушавших правила использования сервиса.
В мае 2024 года OpenAI сообщала о «срыве пяти тайных операций влияния», за которыми стояла Россия и ряд других стран. «Срывом» компания называла удаление аккаунтов, воспользовавшихся общедоступными сервисами.
