OpenAI недавно представила Sora, свою новую модель искусственного интеллекта, которая преобразует текст в видео.

Эта передовая технология позволяет превращать текстовые описания в детализированные видеоролики, включая сцены с несколькими персонажами, разнообразными движениями и точными деталями.

Новый продукт OpenAI, способен создавать как реалистичные, так и фантастические видеосцены на основе текстовых указаний. Эта модель позволяет создавать фотореалистичные видео до минуты длительностью, основанные на пользовательских запросах.

В своем блоге OpenAI рассказывает, что Sora может воссоздавать сложные сценарии с точным воспроизведением предметов и фона. Модель также понимает физические свойства объектов, может создавать убедительных персонажей и выражать различные эмоции. Кроме того, Sora может генерировать видео из статичных изображений, дополнять или расширять существующие видеоролики.

В блоге OpenAI представлены примеры, созданные Sora, включая сцены из Калифорнии времен золотой лихорадки и вид из поезда в Токио. Несмотря на некоторые характерные особенности AI, такие как неестественное движение объектов, общее впечатление от результатов остается впечатляющим.

В последние годы видео на основе текста стало быстро развиваться. Компании вроде Runway и Pika уже продемонстрировали свои собственные впечатляющие модели, а Lumiere от Google также считается конкурентом OpenAI в этой области. Подобно Sora, Lumiere предлагает инструменты для создания видео из текста и статичных изображений.

В настоящее время Sora доступна ограниченному кругу лиц, оценивающим потенциальные риски, а также художникам и кинематографистам для сбора обратной связи. OpenAI признает, что модель может столкнуться с трудностями в точном воспроизведении физики сложных сцен и правильном понимании причинно-следственных связей.

Также OpenAI объявила о введении водяных знаков для своего инструмента DALL-E 3, но отметила, что их можно легко удалить. Как и с другими своими продуктами AI, компания сталкивается с вызовом, связанным с распространением поддельных видео, которые могут быть приняты за реальные.

OpenAI недавно опубликовала технический документ о своей новейшей модели генерации видео. Эта модель обладает уникальными возможностями создания видео различного разрешения и формата. Она также способна выполнять разнообразные задачи редактирования изображений и видео, включая создание повторяющихся циклов и изменение фонов.

Особо важной является способность Sora моделировать виртуальные миры, что позволяет ей, например, рендерить видеоигры. Среди прочего, Sora может одновременно контролировать действия игрока и окружающую среду в таких играх, как Minecraft.