Почему на сгенерированном видео «плывёт» лицо и как это уменьшить

«Лицо плывёт» — самая частая претензия к видеогенерации. Проявляется по-разному: черты слегка меняются от кадра к кадру, глаза съезжают, овал лица дышит, к концу ролика человек становится другим. Причина у всех этих симптомов общая.

Откуда берётся дрейф

Видеомодель строит кадр за кадром, опираясь на предыдущее состояние. Каждый кадр — это результат вычисления, а любое вычисление даёт небольшое отклонение от идеала. По отдельности отклонение незаметно, но следующий кадр строится уже от смещённого состояния, и ошибки складываются.

Это тот же принцип, что при копировании копии: одна перезапись почти не видна, двадцатая — видна отчётливо. Именно поэтому дрейф всегда нарастает к концу ролика, а не распределён равномерно.

Что усиливает дрейф

• Длительность. Прямая зависимость: чем больше кадров, тем больше накопление.
• Скорость движения. Быстрое движение требует больших изменений между соседними кадрами, а значит и больших отклонений.
• Сложность движения. Несколько одновременных действий заставляют модель распределять внимание, и лицо получает меньше ресурса.
• Повороты головы. Требуют показать то, чего в исходнике не было: модель придумывает скрытую половину и с каждым кадром придумывает её чуть иначе.
• Слабый исходник. Мелкое или размытое лицо даёт неточную опорную точку, от которой дрейф начинается сразу.
• Сложный фон. Он забирает вычислительный ресурс, который иначе достался бы лицу.

Что уменьшает дрейф

1. Короткий ролик. Самая эффективная мера: пять секунд вместо десяти вдвое сокращают накопление.
2. Медленное движение. Формулировки «медленно», «плавно», «едва заметно» прямо снижают величину изменений между кадрами.
3. Одно действие вместо нескольких.
4. Крупный резкий исходник с лицом в фокусе.
5. Простой фон, который не конкурирует за внимание модели.
6. Отказ от больших поворотов: наклон вместо разворота.

Дрейф против мерцания

Полезно различать два похожих дефекта. Дрейф — медленное однонаправленное изменение: лицо постепенно становится другим. Мерцание — быстрые колебания: деталь дёргается туда-сюда между кадрами.

Дрейф лечится длительностью и темпом. Мерцание чаще связано с мелкими деталями исходника — узором ткани, зерном, сложным фоном — и лечится их устранением или размытием фона.

Почему нельзя просто «зафиксировать лицо»

Логичное на первый взгляд желание — попросить модель не менять лицо вообще. Но видео без изменений лица — это статичная картинка: мимика и есть то самое изменение. Задача не в том, чтобы лицо не менялось, а в том, чтобы оно менялось только там, где нужно.

Отсюда практическое следствие: чем точнее вы описали, что именно должно двигаться, тем меньше модель меняет всё остальное. Расплывчатый запрос даёт расплывчатый результат буквально.

Когда дрейф не важен

Для атмосферных роликов, где лицо не в фокусе внимания — общий план, силуэт, движение среды, — небольшой дрейф проходит незамеченным. Строгие требования нужны только там, где зритель разглядывает лицо: крупный план, портретное видео, аватар.

Как проверять результат

Не смотрите ролик целиком на скорости воспроизведения — так дрейф маскируется. Сравните первый и последний кадр рядом: если это один человек, ролик прошёл проверку. Если разные — уменьшайте длительность и замедляйте движение.