От промпта до премьеры. Как устроено производство ИИ-сериала

Режиссёр и шоураннер Карен Сахинов экспериментирует с искусственным интеллектом в кинопроизводстве и уже проверил его возможности на практике: вместе с командой Mirage Vision он создал вертикальный сериал «Дон Ку-Ку. Зелёный дебют» — историю об огурце, который мечтает покорить шоу-бизнес. В интервью Фильм Про Сахинов рассказал, как устроено производство ИИ-сериала, почему сценарии по-прежнему пишут люди, сколько итераций требуется для одного удачного кадра и на чём удаётся сэкономить десятки миллионов рублей.  

– Как родился проект «Дон Ку-Ку»? Как вам пришла в голову такая идея?

– Когда появилась технология ИИ-липсинга, я сильно заинтересовался, начал экспериментировать. Решил даже немного побаловаться, протестировал её на огурце, и он заговорил. Тогда я понял, что появился классный инструмент — теперь можно делать крутые генерации, в частности работать с маскотами.

– Почему вы выбрали вертикальный формат? Дело в его нарастающей популярности? Или решение было принято из технических или экономических соображений?

– Дело было в условиях конкурса ИРИ. Институт организовал свой первый конкурс для создания ИИ-контента. Нужен был вертикальный формат в формате 30 серий до трёх минут. Изучив условия, я понял, что история про огурца идеально вписывается в такой фрейм.

– Как вы работали над сценарием? Есть ли своя специфика у ИИ-сериала или вертикального сериала? Приходилось ли писать иначе, чем для обычного игрового проекта?

– Работа над сценарием была классическая — шоураннер, два талантливых сценариста и креативный продюсер. Цикл производства с промоушеном составил шесть месяцев, на написание сценария было заложено два месяца. Это настоящий вызов для меня, времени для осмысления и переработку практически не было. Тут важно сказать, что создание сценария мы ИИ не делегируем. Нейросети отлично справляются со вспомогательной работой, типа подготовка поэпизодника на основании сценария, написание синопсисов, логлайнов и т.д., но сам сценарий писали люди.

– Насколько сильно возможности и ограничения нейросетей повлияли на драматургию? Были ли сцены, которые вы придумали специально потому, что поняли: «Это мы теперь можем себе позволить»? И наоборот: были ли эпизоды или решения, от которых пришлось отказаться, потому что ИИ пока не позволяет добиться нужного результата?

– Полёт фантазии сценаристов я не сдерживал, при помощи ИИ мы можем перенестись в любую локацию и сгенерировать сцены любой сложности. У нас в одной из серий даже будет легкое жанровое смешение — мы ушли в боевик со зрелищным экшном. Есть сложность с русской озвучкой в современных ИИ-моделях, также есть проблема с удержанием габаритов огурца — ИИ пока с этим плохо справляется. Модели быстро эволюционируют, постоянно приходится корректировать производственный пайплайн.

– Со сценарием понятно. А что касается других этапов — дизайна персонажей, генерации кадров, анимации, озвучки, постпродакшна — на каких этапах ИИ использовался непосредственно, а где работали традиционные инструменты и люди?

– Дизайн персонажей, раскадровку, озвучку, частично черновой монтаж — всё это наши профильные специалисты делают при помощи ИИ-инструментов. Озвучку делаем перед генерацией, основных персонажей у нас озвучивают актёры, а персонажей второго и третьего плана озвучиваем при помощи ИИ. Музыку пишет композитор. Последнее обновление Claudе и ChatGPT теперь позволяют моделировать, делать превизы в Blender и создавать черновой монтаж на достаточно высоком уровне. ИИ на 100% владеет программами, главное — правильно поставить задачу. Профильные специалисты владеют терминологией, знают процессы, и это позволяет им профессионально прописывать задачу для ИИ.

– Какие конкретно ИИ-инструменты и модели использовались при создании сериала? Для каких задач и что вы использовали?

– Качество и эстетика генерации видео в Seedance впечатляет! С голосами работаем в ElevenLabs. Концепты и раскадровки делаем в Nano Banana и GPT Image.

Работа над сериалом «Дон Ку-Ку. Зелёный дебют»

– У ИИ-генерации есть известная проблема — непостоянство персонажей и деталей между кадрами. Как вам удалось добиться, чтобы главный герой выглядел одинаково на протяжении 30 серий?

– Всё зависит от качества подготовленной сетки персонажей. Здесь действительно надо заморочиться, чтобы недоработки не перешли в готовую анимацию. Один из главных героев сериала — Акакий. Этого персонажа я списал с нашего креативного продюсера Нарека Абраамяна, он же и озвучил Акакия и сделал это очень талантливо. Переносом лица Нарека с ИИ и удержанием его консистентности я доволен.

– А как вы решали проблему движения? Одно дело — получить красивый кадр с огурцом, и совсем другое — заставить его убедительно сыграть сцену, взаимодействовать с человеком, пройтись, и сделать это последовательно в нескольких планах.

– Действительно, не всё получается с первого раза, как часто рекламируют блогеры. Для достижения нужного результата приходится тратить немало усилий и немало токенов. Нужные эмоции мы прописываем в промптах и часто получаем очень хороший результат.

– Наверняка у вас были «неудачные» ИИ-генерации, которые пришлось выбрасывать. Сколько примерно итераций может потребоваться, чтобы получить один кадр, который в итоге попадает в финальную серию?

– Профессионал хороший результат получит с третьей итерации. Но бывает, и профессионалы могут всю смену потратить на кадр, который так легко не даётся, как предполагалось в начале.

Работа над сериалом «Дон Ку-Ку. Зелёный дебют»

– Что в работе ИИ-режиссёра сегодня занимает больше времени? Иногда создаётся впечатление, что нейросеть мгновенно выдаёт готовый кадр. Где на самом деле кроется основная трудоёмкость?

– Отдельный хороший кадр уже легко получить. Но сложность и основная работа режиссёра — в создании целостной картины произведения, в оперативном формировании качественной обратной связи для творческих сотрудников. Фильм уже должен быть в голове, когда ты только приступаешь к его созданию.

– Ранее вы говорили о промпте как о новом режиссёрском инструменте. Не произойдёт ли обратная ситуация: чем умнее становятся модели, тем меньше режиссёру вообще придётся формулировать свои намерения словами? Не станет ли режиссура скорее искусством выбора из вариантов?

– ИИ обучают на огромном массиве данных мирового кино. Это, наверное, самые доступные данные на сегодняшний день для обучения ИИ. Поэтому здесь ИИ быстро эволюционирует со всеми вытекающими последствиями.

Конечно, будет много контента, автоматически сгенерированного при помощи ИИ, и этот контент по своему качеству будет как накачанная курица на прилавках в супермаркетах. Комбикорм, искусственная биомасса без вкуса и запаха.

Здесь дело не в возможностях ИИ, а в уникальном авторском подходе. Режиссёр болеет темой, пережил определённые события и эмоции, ему есть что сказать, что интерпретировать через свою призму восприятия. Не надо забывать, что последняя инстанция, для кого создаётся произведение, — это зритель. А зритель от кино хочет получить сильную эмоцию, экспириенс, сопереживание, ему всё равно, как этот фильм создавался. Главное — провоцирует конкретное кино эмоции или нет.

Кадры из сериала «Дон Ку-Ку. Зелёный дебют»

– Сейчас ИИ уже умеет генерировать не отдельный кадр, а последовательности, персонажей, голоса, музыку и фактически собирать целые сцены. Что, на ваш взгляд, останется уникально режиссёрской работой, когда техническая часть производства будет автоматизирована ещё сильнее?

– Это отличная новость для режиссёров: теперь ты не тратишь время, нервы и энергию на организационные процессы, а можешь полностью сосредоточиться на творческом процессе. Наступила эра режиссёров. Тебе для старта не нужна команда, продюсер, деньги. За одну-две подписки режиссёр может сгенерировать демосцену, короткометражку, трейлер к своей истории и провести очень успешный питчинг своего проекта, заявить о себе. У меня в команде есть ребята-самоучки с сильными режиссёрскими скиллами. Я это сразу чувствую по уровню их генерации. Я их учу, направляю, качаю их знания и скоро буду им как начинающим режиссёрам делегировать проекты.

– Вы однажды высказали такую мысль: иногда ИИ предлагает идею лучше той, которую режиссёр изначально придумал сам. Кому в таком случае принадлежит авторство — человеку, который задал направление, или машине, которая предложила конкретное решение?

– Авторство будет за тем, кто эту идею реализует, кто перед ИИ ставит задачу. ИИ в любом случае выдаёт ответ, этими возможностями просто надо уметь пользоваться. Многие великие мысли уже высказаны, и ты как художник прогоняешь их через себя и выдаёшь авторскую интерпретацию.

Кадр из сериала «Дон Ку-Ку. Зелёный дебют»

– В одном интервью вы рассказывали, что используете свои знания оператора и монтажёра, в том числе задаёте в промптах модель камеры и оптики. Использовали ли вы этот подход в данном проекте? Можно ли вообще сегодня говорить об ИИ-операторской работе как об отдельной профессии или это пока часть работы режиссёра?

– Есть такое понятие как монтажное мышление и операторское видение кадров сцены. И это самые актуальные скиллы, которые современному креатору нужно качать.

Уверен, когда профессиональные операторы начнут генерировать кадры, у них будет значительное конкурентное преимущество. Я до сих пор негодую, почему этого ещё не происходит. Ведь очень часто у операторов не бывает возможности снять именно тот кадр, который им хотелось снять. Причин множество: нужна экспедиция, аренда техники, не та оптика, световой режим переменчив, денег нет на масштабную сцену. Сейчас эти проблемы уже не актуальны.

В нашем продакшне модель камеры и оптики — базовые значения, которые присутствуют во всех наших промптах, ведь кроме консистентности персонажа и локации, так же актуальна консистентность стиля изображения. Диаметр оптики, освещения: это то, что усиливает эстетику нашего сериала.

Кадры из сериала «Дон Ку-Ку. Зелёный дебют»

– Теперь о деньгах. Как вы считали экономику проекта? Если сравнивать с традиционным игровым или анимационным производством такого же объёма, где именно ИИ позволил сократить расходы и насколько?

– Удешевление производства происходит в десятки, если не в сотни раз. Экономия — на съёмках, экспедициях, логистике, актёрских гонорарах — всё это значительная часть бюджета, которая уже не нужна. Если бы мы делали «Дона Ку-Ку» в классической форме производства, это был бы очень дорогой проект, я вряд ли бы смог найти финансирование на его реализацию.

Но при этом есть специалисты, на которых точно не стоит скупиться. Благодаря удешевлению ты можешь себе позволить нанять самых крутых спецов по звуку и монтажу, концепт-художников. У нас на очереди производство для кинотеатрального проката двухчасового научно-фантастического блокбастера «Стальной Витя». Стоимость его производства я оцениваю от 50-100 миллионов рублей. А по зрелищности его можно сравнить с «Железным человеком», у которого бюджет был в 140 миллионов долларов. Думаю, разница видна.

– Если можно говорить хотя бы в относительных величинах: какую долю бюджета удалось сэкономить благодаря ИИ? И что оказалось самым дорогим элементом производства — человеко-часы, генерация, постпродакшн или что-то другое?

– Экономить не приходится. У нас чёткий утверждённый бизнес. План, разработанный под ИИ-производство, и мы его придерживаемся. Есть недоработки, которые при разработке бюджета не были учтены. В частности, мы немного недооценили количество необходимых токенов, которое нам придётся тратить на модели генерации. В последующих проектах этот вопрос уже будет проработан.

– Если ИИ действительно резко снижает стоимость производства, не приведёт ли это не только к демократизации кино, но и к гигантскому перепроизводству контента? Если завтра миллион людей сможет снять по сериалу, как зрителю найти среди этого потока что-то действительно авторское?

– Не завтра, любители уже генерят сериалы, это происходит сегодня! Уже сейчас можно отметить гигантское перепроизводство контента, мы находимся в этой матрице. Я помню времена, когда мы подростками обхаживали все прокатные сервисы в районе в поисках новинок, потому что все кассеты VHS, которые стояли на полках, мы пересмотрели по два-три раза. Теперь мы, зрители, избирательны в выборе, не всё подряд смотрим. Важнейшую роль получили сарафан и алгоритмы, теперь по сути контент сам ищет своего зрителям. Нам, создателям контента, нужно уже на старте знать, для кого делается кино. Целиться в конкретные ниши зрителя. И однозначно нужно качать личный бренд и позиционирование автора кино.

Тизер сериала «Дон Ку-Ку. Зелёный дебют»

– Как-то вы сказали, что один человек с ИИ-инструментами может заменить целую команду. Но теперь у вас самого есть сценаристы, художники, монтажёры и продюсеры. Когда может справиться «один ИИ-режиссёр», а когда нужна полноценная производственная команда?

– Да так и есть, у нас большая команда и очень сжатые сроки. Поэтому нам приходится нанимать специалистов для ускорения процесса. Если бы не сроки, я бы и сам справился в течении года-двух.

– Что сегодня является самым слабым местом ИИ-кино? Драматургия, актёрская выразительность, стабильность персонажа, монтажная логика, эмоциональная связь со зрителем — где сейчас чаще всего возникает проблема?

– Если брать конкретно сериал про «Дона Ку-Ку», проблема с удержанием габаритов огурца оказалась для нас самой сложной. Также были трудности с русским липсингом. Так что я в большом ожидании очередного обновления Seedance.

– Если завтра другой продюсер попросит вас сделать ещё один вертикальный сериал на 30 серий с использованием того же пайплайна, насколько его производство будет дешевле и быстрее? Получился ли у Mirage Vision после «Дона Ку-Ку» фактически готовый технологический конвейер, который можно масштабировать на следующие проекты?

– В этом и заключается стратегия нашего роста: мы придаём большое значение оптимизации производственного процесса, формированию сильной команды креаторов. Шесть месяцев на производство — технически рабочая схема. Но при таких сроках мне как режиссеру и шоураннеру всё-таки иногда не хватает пары месяцев для доведения полотна до идеального состояния.

– Каким вы хотите увидеть результат после выхода 30 серий? Что для вас будет доказательством того, что ваш эксперимент с вертикальным ИИ-сериалом состоялся: просмотры, реакция аудитории, интерес индустрии, возможность запустить второй сезон или что-то другое?

– Количество просмотров, цитирование и требования от зрителей продолжить историю.  

Фото предоставлены Кареном Сахиновым