Дослідження OpenAI, Джорджтауна та Стенфордського університету показує, що магістратури можуть сприяти маніпуляції громадською думкою
Перегляньте всі сеанси Smart Security Summit за запитом тут.
Прогрес у великих мовних моделях на основі штучного інтелекту обіцяє нові додатки в найближчому та віддаленому майбутньому, а програмісти, письменники, маркетологи та інші професіонали отримають вигоду від передових LLM. Але нове дослідження вчених зі Стенфордського університету, Джорджтаунського університету та OpenAI підкреслює вплив, який LLM може мати на роботу акторів, які намагаються маніпулювати громадською думкою через розповсюдження онлайн-контенту.
Дослідження показують, що LLM можуть посилити операції політичного впливу, створюючи широкомасштабний контент, зменшуючи витрати на робочу силу та ускладнюючи виявлення активності ботів.
Дослідження було проведено після того, як Центр безпеки та нових технологій (CSET) Джорджтаунського університету, OpenAI та Стенфордська інтернет-обсерваторія (SIO) спільно організували семінар у 2021 році, щоб дослідити потенційне зловживання LLM у пропагандистських цілях. І оскільки LLM продовжують удосконалюватися, є побоювання, що зловмисники більше не матимуть причин використовувати їх у підлих цілях.
Дослідження показує, що магістратури впливають на акторів, поведінку та контентОперації впливу визначаються трьома ключовими елементами: акторами, поведінкою та вмістом. Дослідження, проведене Стенфордом, Джорджтауном і OpenAI, показує, що LLM можуть впливати на всі три аспекти.
ПодіяСаміт Smart Security за запитом
Дізнайтеся про важливу роль штучного інтелекту та машинного навчання в кібербезпеці та практичні приклади для окремих галузей. Дивіться сеанси за запитом сьогодні.
ПослухайтеОскільки магістратури спрощують створення довгих, зв’язних текстів, більшій кількості акторів буде цікаво використовувати їх для операцій впливу. Раніше для створення контенту були потрібні люди-автори, що коштує дорого, погано масштабується та може бути ризикованим, коли актори намагаються приховати свою діяльність. LLM не є досконалими і можуть робити дурні помилки під час створення тексту. Але письменник у поєднанні зі ступенем магістра права може стати набагато продуктивнішим, редагуючи створений комп’ютером текст, замість того, щоб писати з нуля. Це робить авторів набагато більш продуктивними та зменшує витрати на робочу силу.
«Ми стверджуємо, що для пропагандистів інструменти генерування мови можуть бути корисними: вони можуть зменшити витрати на генерування контенту та зменшити кількість людей, необхідних для створення того самого обсягу контенту», д-р Джош А. Голдштейн, співавтор автор статті та науковий співробітник проекту CSET CyberAI, розповів VentureBeat.
З точки зору поведінки, LLM можуть не тільки підвищити поточні операції впливу, але також можуть використовувати нові тактики. Наприклад, зловмисники можуть використовувати LLM для створення великомасштабного динамічного персоналізованого контенту або створення розмовних інтерфейсів, таких як чат-боти, які можуть безпосередньо взаємодіяти з багатьма людьми одночасно. Здатність магістерів права створювати оригінальний контент також полегшить гравцям приховування своїх впливових кампаній.
Оскільки інструменти для генерування тексту створюють оригінальні результати кожного разу, коли вони запускаються, кампанії, які залежать від них, може бути складніше помітити незалежним дослідникам, оскільки вони не покладаються на так звану «копіпасту» (або копіювання та вставлення) повторюваний текст в облікових записах в Інтернеті), – сказав Голдштейн.
Багато чого ми ще не знаємоНе дивлячись на їх вражаючу продуктивність, LLMs обмежені багатьма способами. Наприклад, навіть найпросунутіші магістри, як правило, роблять безглузді заяви та втрачають послідовність, оскільки їхній текст перевищує кілька сторінок.
Їм також не вистачає контексту для подій, які не входять до їхніх навчальних даних, а їхнє перенавчання є складним і дорогим процесом. Це ускладнює їх використання для кампаній політичного впливу, які потребують коментування подій у реальному часі.
Але ці обмеження не обов’язково застосовуються до всіх типів...
Перегляньте всі сеанси Smart Security Summit за запитом тут.
Прогрес у великих мовних моделях на основі штучного інтелекту обіцяє нові додатки в найближчому та віддаленому майбутньому, а програмісти, письменники, маркетологи та інші професіонали отримають вигоду від передових LLM. Але нове дослідження вчених зі Стенфордського університету, Джорджтаунського університету та OpenAI підкреслює вплив, який LLM може мати на роботу акторів, які намагаються маніпулювати громадською думкою через розповсюдження онлайн-контенту.
Дослідження показують, що LLM можуть посилити операції політичного впливу, створюючи широкомасштабний контент, зменшуючи витрати на робочу силу та ускладнюючи виявлення активності ботів.
Дослідження було проведено після того, як Центр безпеки та нових технологій (CSET) Джорджтаунського університету, OpenAI та Стенфордська інтернет-обсерваторія (SIO) спільно організували семінар у 2021 році, щоб дослідити потенційне зловживання LLM у пропагандистських цілях. І оскільки LLM продовжують удосконалюватися, є побоювання, що зловмисники більше не матимуть причин використовувати їх у підлих цілях.
Дослідження показує, що магістратури впливають на акторів, поведінку та контентОперації впливу визначаються трьома ключовими елементами: акторами, поведінкою та вмістом. Дослідження, проведене Стенфордом, Джорджтауном і OpenAI, показує, що LLM можуть впливати на всі три аспекти.
ПодіяСаміт Smart Security за запитом
Дізнайтеся про важливу роль штучного інтелекту та машинного навчання в кібербезпеці та практичні приклади для окремих галузей. Дивіться сеанси за запитом сьогодні.
ПослухайтеОскільки магістратури спрощують створення довгих, зв’язних текстів, більшій кількості акторів буде цікаво використовувати їх для операцій впливу. Раніше для створення контенту були потрібні люди-автори, що коштує дорого, погано масштабується та може бути ризикованим, коли актори намагаються приховати свою діяльність. LLM не є досконалими і можуть робити дурні помилки під час створення тексту. Але письменник у поєднанні зі ступенем магістра права може стати набагато продуктивнішим, редагуючи створений комп’ютером текст, замість того, щоб писати з нуля. Це робить авторів набагато більш продуктивними та зменшує витрати на робочу силу.
«Ми стверджуємо, що для пропагандистів інструменти генерування мови можуть бути корисними: вони можуть зменшити витрати на генерування контенту та зменшити кількість людей, необхідних для створення того самого обсягу контенту», д-р Джош А. Голдштейн, співавтор автор статті та науковий співробітник проекту CSET CyberAI, розповів VentureBeat.
З точки зору поведінки, LLM можуть не тільки підвищити поточні операції впливу, але також можуть використовувати нові тактики. Наприклад, зловмисники можуть використовувати LLM для створення великомасштабного динамічного персоналізованого контенту або створення розмовних інтерфейсів, таких як чат-боти, які можуть безпосередньо взаємодіяти з багатьма людьми одночасно. Здатність магістерів права створювати оригінальний контент також полегшить гравцям приховування своїх впливових кампаній.
Оскільки інструменти для генерування тексту створюють оригінальні результати кожного разу, коли вони запускаються, кампанії, які залежать від них, може бути складніше помітити незалежним дослідникам, оскільки вони не покладаються на так звану «копіпасту» (або копіювання та вставлення) повторюваний текст в облікових записах в Інтернеті), – сказав Голдштейн.
Багато чого ми ще не знаємоНе дивлячись на їх вражаючу продуктивність, LLMs обмежені багатьма способами. Наприклад, навіть найпросунутіші магістри, як правило, роблять безглузді заяви та втрачають послідовність, оскільки їхній текст перевищує кілька сторінок.
Їм також не вистачає контексту для подій, які не входять до їхніх навчальних даних, а їхнє перенавчання є складним і дорогим процесом. Це ускладнює їх використання для кампаній політичного впливу, які потребують коментування подій у реальному часі.
Але ці обмеження не обов’язково застосовуються до всіх типів...
What's Your Reaction?
