«Не просто жмём кнопки»: как дочерняя студия Netflix внедряет ИИ в постпродакшн

Кажется, кто-то наконец-то начал использовать нейросети в кинопроизводстве адекватно, а не как волшебную кнопку «сделать красиво». Мохсен Мусави, вице-президент по виртуальным инновациям студии Eyeline (принадлежит Netflix), на конференции в Турине рассказал о концепции «гибридного производства». Суть проста: они не генерируют кадры с нуля по текстовому промпту. Они используют ИИ, чтобы менять локации, перестраивать толпу и менять освещение и даже положение камеры после того, как актёр уже отыграл сцену.

Мусави, который, к слову, работал над финалом «Игры престолов», признает главную боль нейросетей: генеративные модели могут сделать работу на 60-70%. Но в кино важны именно эти последние 30%. Добиться стабильности кадров (чтобы не плыли лица), нужного разрешения и полного творческого контроля — вот где начинается настоящая работа VFX-артистов. Eyeline начинает применять ИИ еще до мотора: генеративный арт-департмент работает в связке с классическими художниками. А актёры могут играть на «разреженных» физических сетах с плоским светом — все остальное, от сложного окружения до бликов, достраивается потом, но с сохранением оригинальной актёрской игры.

Самое интересное — это система объемного захвата. Ребята показали демки, где сцена, снятая в одной локации без зеленых экранов, полностью переносится в другую. «Это даёт нам свободу света и свободу камеры после съёмки», — говорит Мусави. Они уже обкатали часть этих технологий. Например, в драме про ЧМ-1970 «Бразилия '70» Eyeline помогли создать огромные, эмоционально реагирующие стадионные толпы, скомбинировав реальные съёмки, классический CG и генеративные техники. По словам Мусави, сделать такое традиционными методами в рамках их бюджета было бы «очень, очень сложно».

Сейчас студия бьется над управляемыми генеративными жидкостями. Нейросети пока плохо справляются с водой — результат непредсказуем. А в VFX, как точно подметил Мусави, часто нужно «сломать физику жидкости», чтобы добиться нужного художественного эффекта. В Eyeline хотят, чтобы художники могли настраивать вязкость, скорость и пену по ключевым кадрам, не ломая саму симуляцию. Студия опирается на собственные модели и исследования (у них есть даже система из 40 камер RED V-Raptor для сбора данных), избегая готовых генераторов из интернета. Главное правило: ИИ не должен быть «черным ящиком», операторы и художники-постановщики обязаны иметь возможность управлять результатом.