RU
EN
Несколько дней назад речевой стартап ElevenLabs запустил бета-версию своей платформы, которая предоставляет пользователям возможность создавать новые голоса для преобразования текста в речь; также можно синтезировать чей-либо голос.
Пользователям понадобилось всего несколько дней, чтобы использовать этот инструментарий в низменных целях, создавая дипфейки голосов знаменитостей, озвучивающих крайне сомнительные тексты.
Посетители печально-известного рассадника интернет-троллей всех мастей форума 4chan обнаружили на ресурсе множество файлов с подделанными с помощью ИИ голосами знаменитостей, которые озвучивают расистские, гомофобные и другие оскорбительные лозунги.
Например, в одном клипе, был голос, похожий на голос Эммы Уотсон, читающей отрывок из «Майн Кампф». Кроме звезды фильмов о Гарри Поттере в голосовых дипфейках засветились режиссеры Квентин Тарантино и Джордж Лукас. Правда не совсем ясно, во всех ли непристойных клипах использовалась технология от ElevenLab, но в сообщениях на форуме 4chan содержались отсылки именно на этот продукт.
Как компания-разработчик сообщила в Twitter, наблюдается «всё больше случаев неправильного использования клонирования голоса». Также в твите добавляется, что сотрудники пытаются решить проблему путем «внедрения дополнительных мер предосторожности».
В частности, стартап собирается внедрить дополнительную проверку учетных записей.
Кроме того, компания собирается требовать от пользователей подтверждения права собственности на голос, который они хотят клонировать методом отправки образца с текстом подсказки.
Наконец, компания подумывает о том, чтобы полностью отказаться от своего инструмента Voice Lab и заставить пользователей отправлять запросы на клонирование голоса, которые она должна проверять вручную.
