RunwayML: приложение с нейросетью для обработки видео Gen-1 вышло на iPhone

Runway, стартап, специализирующийся на искусственном интеллекте (ИИ), выпустил свое первое мобильное приложение для пользователей iOS. Приложение под названием RunwayML, используя генеративную модель ИИ Gen-1 позволяет пользователям преобразовывать видео прямо на своих телефонах. Пользователи могут скачать приложение бесплатно, но им будут доступны только ограниченное количество кредитов.

Gen-1 предоставляет возможность преобразовывать существующее видео с помощью текста, изображений или видеовхода. По функциональности, приложение очень похоже на инструмент переноса стилей. Однако, в отличие от него, на выходе приложение генерирует совершенно новое видео, а не просто применяет фильтры. Например, пользователи могут загрузить видео, на котором кто-то едет на велосипеде по парку, и применить к нему эстетику или тему. Таким образом, они могут придать видео вид акварельной картины или наброска углем, и т.д.

Так как это генеративный ИИ, результаты его работы могут быть довольно необычными. Например, если вы примените эффект пластилина, то полученные модели не будут выглядеть так же, как настоящие пластилиновые фигурки. Модели могут деформироваться между кадрами, конечности могут расти и уменьшаться, а черты могут таять и размываться. Однако, это было ожидаемо, и это не уменьшает удовольствие от использования приложения.

С помощью мобильного приложения Runway, можно записывать видео через камеру или загружать уже существующие видео со смартфона. Приложение использует только первые 5 секунд записи, поэтому, если видео длиннее, необходимо вырезать нужную часть заранее.

Пользователь может выбрать один из пяти готовых стилей для применения к видео, загрузить изображение для замены объекта или дать текстовое описание желаемого результата. Ползунком можно настроить степень смешивания нового видео с исходным материалом. Приложение быстро генерирует четыре варианта результата, и пользователь может выбрать понравившийся вариант для генерации.

Рендер происходит быстро, занимая 1-2 минуты. Обработка выполняется в облаке, и, вероятно, со временем будет ускоряться. В настоящее время приложение поддерживает только модель Runway Gen-1, но в ближайшее время планируется добавление генеративной модели Gen-2.

Стоит упомянуть, то у приложения есть некоторые ограничения:

• лимит на длину видео — 5 секунд;
• запрещено генерировать наготу;
• ограничения на упоминания брендов или знаменитостей;
• работы, охраняемые авторским правом, также запрещены;
• никаких «мультиков в стиле студии Гибли».

Важно понимать, что использование RunwayML возможно только в качестве тестирования. Каждая секунда генерируемого видео стоит 14 кредитов, и бесплатный тариф предоставляет 525 кредитов (400 за регистрацию и 125 при выборе тарифа). В бесплатной версии невозможно пополнить количество кредитов, а также на готовом видео будет наложен небольшой водяной знак, который можно убрать в платной версии.

Пока нет информации о том, когда выйдет Android-версия RunwayML, однако веб-версия Gen-2 уже доступна по этой ссылке для всех желающих.