Подиум дразнит редактирование текста в видео с помощью искусственного интеллекта с использованием письменных подсказок

Увеличить / Изображение взято из Промо-тизер «Текст в видео», предлагающий возможности генерации изображений. Отслеживать

В твиттере, опубликованном сегодня утром, ИИ-компания Runway объявила о новой функции в своем видеоредакторе на основе ИИ, которая может редактировать видео на основе письменных описаний, часто называемых «подсказками». Рекламный ролик показывает самые первые шаги к редактированию или созданию коммерческих видеороликов, перекликаясь с ажиотажем вокруг недавних моделей синтеза текста в изображение, таких как Stable Diffusion, но с оптимистичным оформлением, чтобы покрыть текущие ограничения.

В демонстрационном ролике Runway "Текст в видео" показано поле ввода текста, которое позволяет редактировать такие команды, как "импортировать городскую улицу" (предполагая, что видеоклип уже существует) или "сделать клип более кинематографичным" (применить эффект). . На нем изображено, как кто-то печатает «удалить объект» и выбирает фонарный столб с помощью инструмента «закрашивание», который затем исчезает (по нашим тестам, Runway уже может выполнять аналогичный эффект с помощью своего инструмента «закрашивания», но с неоднозначными результатами). Промо-видео также показывает то, что выглядит как генерация текста в виде неподвижного кадра, похожая на Stable Diffusion (обратите внимание, что видео не изображает ни одну из этих движущихся сгенерированных сцен), и демонстрирует наложение текста, маскировку символов (с использованием своего «зеленого экрана», также уже присутствует в Подиуме) и многое другое.

Воплотите любую идею в жизнь. Просто запишите это.

Текст в видео, которое скоро будет доступно на Подиуме.

Подпишитесь на ранний доступ: https://t.co/ekldoIshdw pic.twitter.com/DCwXcmRcuK

— Взлетно-посадочная полоса (@runwayml) 9 сентября 2022 г.

Помимо обещаний создания видео, самое новое в объявлениях Runway Text to Video — текстовый командный интерфейс. Захотят ли видеоредакторы работать с подсказками на естественном языке в будущем, пока неизвестно, но демонстрация показывает, что игроки индустрии видеопроизводства активно работают над будущим, в котором синтезировать или редактировать видео будет так же просто, как написать команду.

Увеличить / Веб-видеоредактор Runway уже использует ИИ для скрытия объектов для создания эффекта «зеленого экрана». Арс-Техника

Генерация необработанного видео на основе ИИ (иногда называемая «text2video») находится в примитивном состоянии из-за высоких вычислительных требований и отсутствия большого обучающего набора видео, открытого с метаданными, которые могут вызвать генерацию видео. модели, эквивалентные LAION-5B для неподвижных изображений. Одна из самых многообещающих общедоступных моделей text2video, CogVideo, может выводить простые видеоролики с низким разрешением и прерывистой частотой кадров. Но учитывая примитивное состояние моделей преобразования текста в изображение всего год назад по сравнению с сегодняшним днем, кажется разумным ожидать, что качество синтетического видео будет расти как на дрожжах в течение следующих нескольких лет.

Runway доступен как коммерческий веб-продукт, работающий в Google...