Как оценивать качество генеративной модели: на что смотреть при сравнении

Выбирая между моделями, легко ориентироваться на демонстрационные галереи. Они бесполезны по определению: там отобраны лучшие результаты из множества попыток, часто с ручной доработкой. Осмысленное сравнение требует собственных прогонов и понимания, что именно проверять.

Проверка первая: сложные зоны

Первый и самый информативный тест — то, что традиционно даётся моделям плохо. Запросите портрет с руками в кадре, надпись на предмете, парные украшения. Модель, справляющаяся с этим, справится и с простыми задачами.

Смотрите не на один удачный кадр, а на долю удачных из пяти прогонов. Одно попадание может быть случайностью.

Проверка вторая: следование запросу

Составьте запрос с пятью конкретными требованиями: определённый ракурс, цвет одежды, тип фона, источник света, выражение лица. Посчитайте, сколько из них выполнено.

Это важнее художественного качества: модель, которая делает красиво, но не то, что просили, потребует втрое больше прогонов на любой конкретной задаче.

Проверка третья: устойчивость к сложному свету

Запросите сцену с нетривиальным освещением: контровой свет, свет от двух источников разного цвета, отражения. Здесь модели расходятся сильнее всего.

Проверяйте согласованность: одна ли сторона у теней, соответствуют ли блики источникам, не распадается ли тон кожи на пятна.

Проверка четвёртая: сходство при генерации по фото

Если задача — портреты, это решающий тест. Возьмите один и тот же исходник и прогоните его через сравниваемые модели с одинаковым запросом.

Оценивайте по трём опорным точкам: расстояние между глазами относительно ширины лица, форма носа, линия челюсти. Общее впечатление «похоже» обманчиво — оно возникает и при заметном расхождении черт.

Проверка пятая: разброс

Прогоните один запрос пять раз и посмотрите на разброс качества. Модель со стабильным средним результатом практичнее модели, которая иногда выдаёт шедевр, а иногда — брак.

Практическая ценность определяется именно средним, потому что платите вы за каждый прогон, а не за лучший из них.

Чего не стоит делать при сравнении

• Сравнивать по одному кадру: разброс перекрывает разницу между моделями.
• Использовать разные запросы для разных моделей: результат несопоставим.
• Оценивать по галереям и подборкам: они отобраны.
• Судить по скорости: разница в секундах несущественна рядом с разницей в количестве нужных прогонов.

Что действительно важно на практике

После нескольких сравнений становится видно, что решающими оказываются не художественные качества, а предсказуемость. Модель, которая делает ровно то, что просили, экономит больше, чем модель с более красивым максимумом.

Второй по важности фактор — поведение в вашей конкретной нише. Модель, отличная в пейзажах, может быть посредственной в портретах, и наоборот. Универсального лидера не существует.

Как фиксировать результаты

Сравнение имеет смысл, только если его можно перепроверить. Сохраняйте запросы, исходники и все прогоны, включая неудачные. Через месяц, когда появится новая версия модели, у вас будет база для сопоставления — и вы увидите реальный прогресс, а не впечатление от свежих демонстраций.