Инструменты обнаружения текста AI действительно легко обмануть

В течение нескольких недель после запуска ChatGPT существовали опасения, что студенты будут использовать чат-бота для написания сносных эссе за считанные секунды. В ответ на эти опасения стартапы начали создавать продукты, которые обещают отслеживать, был ли текст написан человеком или машиной.

Проблема в том, что эти инструменты относительно легко обмануть и избежать обнаружения, согласно новому исследованию, которое еще не прошло рецензирование.

Дебора Вебер-Вульф, профессор медиа и компьютерных наук Университета прикладных наук HTW в Берлине, вместе с группой исследователей из разных университетов оценила возможности 14 инструментов, включая Turnitin, GPT Zero и Compilatio. для обнаружения текста, написанного ChatGPT OpenAI.

Большинство этих инструментов работают, находя характеристики текста, сгенерированного ИИ, включая повторы, а затем вычисляя вероятность того, что текст был сгенерирован ИИ. Но команда обнаружила, что у всех протестированных были проблемы с извлечением сгенерированного ChatGPT текста, который был слегка изменен людьми и запутан с помощью инструмента перефразирования, что позволяет предположить, что все, что студентам нужно сделать, это немного адаптировать испытания, сгенерированные ИИ, чтобы пройти детекторы. .

"Эти инструменты не работают", – говорит Вебер-Вульф. "Они не делают того, о чем говорят. Они не детекторы ИИ".

Исследователи оценили инструменты, написав короткие эссе на уровне колледжа по различным темам, включая гражданское строительство, информатику, экономику, историю, лингвистику и литературу. Они сами написали эссе, чтобы убедиться, что текст еще не был в сети, что означало бы, что он уже использовался для обучения ChatGPT.

Затем каждый исследователь написал дополнительный текст на боснийском, чешском, немецком, латышском, словацком, испанском или шведском языках. Эти тексты были переданы либо инструментом перевода AI DeepL, либо Google Translate для их перевода на английский язык.

Затем команда использовала ChatGPT для создания двух дополнительных текстов каждый, которые они слегка подправили, пытаясь скрыть, что они были созданы искусственным интеллектом. Один набор был отредактирован вручную исследователями, которые переставили предложения и поменяли местами слова, а другой был переписан с помощью инструмента перефразирования AI под названием Quillbot. В итоге у них было 54 документа, на которых можно было протестировать инструменты обнаружения.

Они обнаружили, что, хотя инструменты хорошо распознавали текст, написанный человеком (в среднем с точностью 96%), они хуже распознавали текст, созданный человеком, ИИ, особенно когда он был изменен. Хотя инструменты определили текст ChatGPT с точностью 74 %, этот показатель снизился до 42 %, когда текст, сгенерированный ChatGPT, был немного изменен.

Такого рода исследования также показывают, насколько устарели нынешние университетские методы оценки работы студентов, – говорит Витомир Кованович, старший преподаватель, занимающийся разработкой моделей машинного обучения и искусственного интеллекта в Университете Южной Австралии, не участвовавшем в проекте. . .

Дафна Ипполито, старший научный сотрудник Google, специализирующаяся на генерации естественного языка, которая также не участвовала в проекте, высказывает еще одну озабоченность.

"Если автоматические системы обнаружения будут использоваться в учебных заведениях, важно понимать их процент ложных срабатываний, потому что ложное обвинение студента в списывании может иметь катастрофические последствия для его академической карьеры", — заявляет она. «Коэффициент ложноотрицательных результатов также важен, потому что, если слишком много текста, сгенерированного ИИ, принимается за человеческий текст, система обнаружения бесполезна».

Compilatio, который является одним из инструментов, протестированных исследователями, указывает, что важно помнить, что его система помечает только подозрительные фрагменты, которые она классифицирует как потенциальный плагиат или потенциальный контент, созданный искусственным интеллектом.

«Школы и учителя, которые маркируют проанализированные документы, должны подтвердить или приписать знания, фактически полученные автором документа, например, путем установления дополнительных средств расследования — устного опроса, дополнительные вопросы в контролируемой обстановка в классе и т. сказал представитель Compilatio.

"Таким образом, инструменты Compilatio являются частью настоящей педагогики, которая способствует обучению хорошим методам исследования, написания и цитирования. Программное обеспечение Compilatio — это средство исправления, а не корректор", — добавил пресс-секретарь Turnitin, и GPT Zero не сразу ответить на запрос о комментарии.

Нам уже давно известно, что инструменты, предназначенные для обнаружения текста, написанного искусственным интеллектом, не всегда работают должным образом. Ранее в этом году OpenAI представила