Motion control и image-to-video: две технологии оживления кадра

Под словами «сделать видео из фотографии» скрываются два разных технологических подхода. Они дают разный результат, требуют разного от исходника и подходят для разных задач — путать их невыгодно.

Image-to-video: движение из описания

Модель получает изображение и текстовое описание того, что должно происходить. Дальше она сама строит траекторию: как повернётся голова, куда полетят волосы, как сместится камера.

Сильная сторона — свобода. Вы можете описать любое движение, не имея примера. Слабая — непредсказуемость: одно и то же описание даёт разную динамику от прогона к прогону, а сложные сценарии интерпретируются приблизительно.

Motion control: движение из образца

Модель получает изображение и готовый видеоролик, из которого извлекается траектория движения. Эта траектория переносится на ваш кадр.

Сильная сторона — предсказуемость. Вы заранее видите, каким будет движение, потому что оно уже существует. Слабая — вы ограничены имеющимися образцами и не можете задать произвольный сценарий.

Что выбрать под задачу

• Нужно конкретное движение, которого нет в образцах — image-to-video.
• Нужен предсказуемый результат с первого раза — motion control.
• Нужно попадание в музыкальный ритм или конкретную динамику — motion control.
• Нужна атмосфера, движение среды, необычный сценарий — image-to-video.
• Ограничен бюджет на прогоны — motion control: меньше попыток до приемлемого результата.

Требования к исходнику

Они частично различаются. Для image-to-video важнее общие свойства кадра: запас по краям, простой фон, отсутствие рук в фокусе.

Для motion control добавляется требование соответствия: если траектория предполагает поворот корпуса, а на вашем снимке человек снят вплотную анфас, перенос даст искажения. Чем ближе композиция исходника к композиции образца, тем чище результат.

Почему траектория не переносится идеально

Движение в образце происходило с конкретным человеком в конкретной сцене. При переносе меняются пропорции фигуры, положение относительно кадра, фон, освещение. Модель адаптирует траекторию, и адаптация не бывает точной.

Практически это выражается в том, что перенесённое движение получается чуть более сдержанным или, наоборот, резким по сравнению с образцом.

Комбинированный сценарий

На практике часто работает связка: сначала получить нужный статичный кадр генерацией, затем оживить его одним из способов. Это разделяет две задачи, каждая из которых решается лучше по отдельности.

Обратный порядок — пытаться получить и правильный кадр, и правильное движение за один прогон — обходится дороже: каждая неудачная попытка стоит как видео, а не как изображение.

Что общего у обоих подходов

Ограничения совпадают, потому что они следуют из природы видеогенерации, а не из конкретной технологии.

• Дрейф черт лица к концу длинного ролика.
• Проблемы с руками, усиленные количеством кадров.
• Дрожание сложного фона.
• Ограниченная длительность.
• Невозможность показать то, чего не было в исходном кадре, без домысла.

Как оценивать результат

Для обоих подходов проверка одинакова: сравнить первый и последний кадр на предмет сходства, посмотреть на зоны контакта и руки, оценить, не дрожит ли фон. Разница только в том, что при motion control предсказуемость выше, и если результат не подошёл, менять надо образец, а не формулировку.