Как оживить фото нейросетью: что происходит между снимком и видео

Оживление фотографии выглядит как магия: статичный снимок начинает дышать, моргать, поворачивать голову. Механика при этом довольно понятная, и знание её сразу объясняет, почему одни фото оживают убедительно, а другие превращаются в неприятное зрелище.

Что модель получает и что она делает

На вход поступает одно изображение и описание желаемого движения. На выходе — последовательность кадров, где первый совпадает с исходником, а каждый следующий отличается от предыдущего ровно настолько, чтобы движение читалось как непрерывное.

Ключевой момент: все кадры, кроме первого, модель придумывает. Она не находит на снимке скрытую информацию о том, что было за поворотом головы, — она достраивает это по статистике: как обычно выглядит человеческое ухо, если голова повернулась на пятнадцать градусов, как ложатся волосы, как меняется тень на щеке.

Почему это принципиально сложнее генерации картинки

У изображения одна задача — быть правдоподобным. У видео их две: каждый кадр должен быть правдоподобным и все кадры должны быть согласованы между собой. Вторая задача даётся моделям тяжелее.

Рассогласование проявляется как «мерцание»: черты лица чуть меняются от кадра к кадру, рисунок ткани перескакивает, фон слегка дрожит. Человеческий глаз чувствителен именно к такой непоследовательности — статичный кадр с той же ошибкой мы бы не заметили.

Откуда берётся движение

Есть два разных подхода, и они дают разный результат.

• Движение из описания: вы говорите, что должно происходить («лёгкий поворот головы», «ветер в волосах»), и модель строит соответствующую траекторию. Гибко, но результат непредсказуем в деталях.
• Движение из образца: модель получает готовый ролик как источник траектории и переносит её на ваше изображение. Предсказуемо по динамике, но выбор ограничен имеющимися образцами.

Первый подход уместен, когда важна свобода сценария; второй — когда важно, чтобы движение точно попало в нужный ритм.

Какие движения получаются хорошо

Надёжно воспроизводится всё, что модель много раз видела в обучающих данных и что не требует показать скрытые части:

• Микродвижения лица: моргание, лёгкая смена выражения, дыхание.
• Небольшой поворот или наклон головы в пределах десяти-пятнадцати градусов.
• Движение волос и лёгкой ткани от ветра.
• Медленный наезд или отъезд камеры без смены ракурса.
• Движение фона: облака, вода, листва.

Какие движения ломаются

• Большие повороты: за девяносто градусов модель обязана нарисовать половину лица, которой на снимке не было. Результат — другой человек в профиль.
• Движение рук с изменением положения пальцев — тот же дефект, что у статичных генераций, но умноженный на количество кадров.
• Взаимодействие с предметами: взять чашку, открыть дверь. Физика контакта не соблюдается.
• Ходьба и любое перемещение всего тела: ноги — известная слабая зона.
• Речь с артикуляцией без звуковой дорожки-ориентира: губы двигаются неестественно.

Что делать с исходником

Требования те же, что для генерации изображений, плюс два специфических. Первое — запас по краям кадра: если голова упирается в границу, движение немедленно выйдет за неё, и модель начнёт достраивать обрезанное.

Второе — простой фон. Сложный детализированный фон дрожит заметнее всего: каждый кадр перерисовывает мелкие детали чуть иначе, и глаз ловит это как шум по всей картинке.

Реалистичные ожидания

Оживление фотографии — это короткий выразительный фрагмент, а не съёмка видео. Пять-десять секунд микродвижения, которые превращают статичный портрет в живой кадр для сторис, обложки или поздравления.

Если ожидать от него сцены с сюжетом, действием и диалогом, разочарование гарантировано: это другая задача, и её решают съёмкой.