RU
EN
OpenAI подтвердила неэффективность существующих инструментов для выявления текстов, сгенерированных ИИ, указывая на их тенденцию к ложным тревогам. В своем обновленном FAQ, компания акцентирует внимание на том, что даже ChatGPT не может уверенно определять авторство текста – машины или человека. Специалисты рекомендуют отказываться от автоматических средств детекции ИИ в пользу человеческого опыта и интуиции.
На официальном сайте OpenAI в разделе FAQ, посвященном вопросу использования студентами работ, сгенерированных ИИ, говорится: «Вкратце, детекторы ИИ неэффективны. Несмотря на попытки различных компаний (в том числе OpenAI) разработать инструменты для выявления контента, произведенного ИИ, ни один из них не смог это сделать надежно».
Детекторы, такие как GPTZero, часто ошибаются из-за применения недостаточно протестированных методов. На практике тексты, созданные ИИ, не так уж и отличаются от человеческих, и их можно легко изменить, чтобы обмануть детекторы. Напомним, что в июле OpenAI завершила поддержку своего инструмента AI Text Classifier с низкой эффективностью в 26%.
Также компания развенчивает заблуждение о способности ChatGPT определить, кем создан текст: «ChatGPT не имеет возможности понимать, мог ли контент быть создан ИИ. Иногда он выдает произвольные ответы на вопросы типа «ты написал это эссе?» или «это могло быть сделано ИИ?». Эти ответы не основаны на реальных данных».
OpenAI подчеркивает тенденцию своих ИИ-моделей к выдаче некорректной информации: «ChatGPT иногда может звучать убедительно, однако он способен предоставить неправдивые или вводящие в заблуждение данные, которые мы иногда называем «галлюцинациями». Он может даже придумывать цитаты или источники, так что не стоит полагаться на него как на главный ресурс исследований». Вспомним инцидент в мае с адвокатом из Нью-Йорка, который использовал ChatGPT и столкнулся с выдуманными данными, что могло стоить ему лицензии.
Несмотря на проблемы с детекторами ИИ, это не значит, что люди не могут распознавать тексты, созданные машиной. Преподаватель, знающий стиль написания своего студента, может заметить резкие изменения в нем.
Также некоторые тексты, генерируемые ИИ и представленные как чьи-то собственные, могут иметь отчетливые особенности, например, упоминание «как модель языка ИИ». Это может указывать на то, что человек просто вставил ответ от ChatGPT, даже не просмотрев его. Вспомним статью в Nature, где читатели заметили фразу «Regenerate response», характерную для интерфейса ChatGPT.
С учетом текущего уровня технологического развития рекомендуется избегать полностью автоматизированных средств для распознавания текстов, сгенерированных ИИ. Это подтверждает и Этан Моллик, профессор из Уортона и эксперт по ИИ, указывая на высокий уровень ошибок у детекторов ИИ.
Так, различие между машинным и человеческим текстом по-прежнему является предметом дискуссии, и ответ может быть найден в интуитивных ощущениях и профессиональном опыте каждого.
