Нейросеть TikTok для создания фонов в видео

TikTok теперь предлагает генерировать фон в видео с помощью ИИ (нейросеть), которая основывается на текстовом описании. Компания назвала его «умным» зелёным экраном.

Нейросеть TikTok для создания фонов в видео
пример сгенерированных фонов нейросетью TikTok

Системы искусственного интеллекта «текст-в-изображение» сейчас на пике популярности и роста своих возможностей, и лучшее доказательство тому — их появление в самом популярном приложении в мире: TikTok.

Недавно эта видеоплатформа добавила новый эффект, который она называет «AI greenscreen» (умный зеленый экран), позволяющий пользователям вводить текстовые запросы, с помощью которых программное обеспечение генерирует изображение. Затем это изображение может быть использовано в качестве фона для видео — потенциально очень полезный инструмент для авторов контента.

Результаты работы системы TikTok довольно скромные по сравнению с современными моделями преобразования текста в изображение, такими как Imagen от Google, DALL-E 2 или GPT-3 от OpenAI. Она создает только довольно абстрактные и замысловатые изображения, что отражается в мечтательном характере предлагаемых TikTok запросов, таких как «астронавт в океане» и «цветочная галактика». Другие нейросети, для сравнения, могут создавать как фотореалистичные изображения, так и сложные последовательные иллюстрации, которые выглядят так, будто их нарисовал или раскрасил человек.

Ниже пример генерации изображений запросом «герои Dota 2» в нейросети Midjourney.

пример генерации midjourney
пример генерации изображение нейросеть midjourney

Однако ограничения генеративных моделей нейросети TikTok вполне могут быть намеренными.

  • Во-первых, более продвинутые модели требуют больших вычислительных мощностей, что будет дорого и ресурсоемко для компании.
  • Во-вторых, у TikTok более миллиарда пользователей, и предоставление всем этим людям возможности создавать фотореалистичные изображения всего, что они только могут себе представить, почти наверняка приведет к тревожным результатам.

Пример изображений сгенерированных нейросетью TikTok

Например, мы проверили способность моделей создавать наготу и кровь — два типа изображений, которые генераторы изображений часто пытаются ограничить. Изображения, основанные на таких жестоких подсказках, как «убийство Бориса Джонсона» и «убийство Джо Байдена», создают в основном абстрактные вихри, с почти узнаваемым лицом премьер-министра Великобритании.

Пример изображений сгенерированных нейросетью TikTok

Аналогично, запрос, связанный с наготой — «обнаженная модель на пляже» или «голая аниме-девочка» — дает тематически соответствующие цвета, включая телесные тона, песочные оранжевые и океанские голубые, но ничего более точного.

обнаженная модель на пляже, голая аниме девушка, страстная модель блондинка - нейросеть tiktok

Появление «зеленого экрана ИИ» в TikTok примечательно тем, что оно показывает, насколько быстро эта технология становится повсеместной. Последний цикл развития ИИ «текст-изображение», вероятно, начался в 2021 году с первоначального выпуска DALL-E от OpenAI. Прошло менее двух лет, и эта технология уже находится в руках миллионов людей благодаря таким приложениям, как TikTok.

The Verge

Не забывайте подписаться на канал:
Больше годноты на канале — Довольный Арбитражник 
Обсудить и задать вопросы в чате — Арбитраж трафика | Довольный

Поделиться ссылкой:
Добавить комментарий