Дипфейки выведут дубляж кино на новый уровень


4 минуты чтения
Дипфейки выведут дубляж кино на новый уровень

Что именно теряется при переводе, когда телешоу и фильмы дублируются на новый язык? На этот вопрос сложно ответить, но благодаря команде AI стартапа Flawless (Безупречный), возможно, нам не придется думать об этом в будущем.

Компания утверждает, что у нее есть решение именно этого языкового барьера; техническая инновация, которая может помочь телешоу и фильмам без труда выйти на новые рынки по всему миру: дипфейки.

Мы часто думаем о дипфейках как о манипулировании всем изображением человека или сцены, но технология Flawless фокусируется только на одном элементе: рте. Пользователи загружают в программное обеспечение компании видео из фильма или телешоу, а также дублированные диалоги, записанные людьми. Затем модели машинного обучения Flawless создают новые движения губ, соответствующие переведенной речи, и автоматически вставляют их в голову актера.

«Когда кто-то смотрит этот дублированный материал, его не выбивает из выступления резкое слово или несвоевременное движение рта», – сказал соучредитель Flawless Ник Лайнс. «Все дело в сохранении характеристик и оригинального стиля».

Результаты, несмотря на название компании, не на 100% безупречны, но они довольно хорошие. Вы можете увидеть и услышать, как они выглядят, на демо-ролике ниже, который представляет собой французский дубляж классической юридической драмы 1992 года «Несколько хороших людей» с Джеком Николсоном и Томом Крузом в главных ролях. Мы спросили носителя французского языка, что они сделали из отснятого материала, и он ответил, что в некоторых местах он отключен, но все же намного более плавный, чем при традиционном дубляже.

Что делает технологию Flawless особенно интересной, так это масштабы и возможности ее использования. Идея Flawless заключается в том, что дипфейк-озвучки предлагают крайне заманчивое соотношение цены и качества: они дешевы и быстро создаются, особенно по сравнению со стоимостью полных ремейков.

А с появлением глобальных потоковых платформ, таких как Netflix, Disney Plus и Amazon Prime Video, дублированному контенту стало проще, чем когда-либо, выйти на международные рынки.

Как подчеркивается в недавнем отчете The Wall Street Journal, спрос на потоковые сервисы в США насыщен, и теперь компании ищут возможности для будущего роста за рубежом. Например, в первом квартале 2021 года 89 процентов новых пользователей Netflix прибыли из-за пределов США и Канады, а самое популярное шоу сервиса – «Люпин» – это парижский триллер.

«Вы видите, что все больше и больше стримеров выходят в Интернет, осознавая, что подавляющее большинство их потребителей со временем будут находиться за пределами США. Вопрос в том, насколько международным должен быть ваш контент, чтобы быть успешным» – сказал WSJ Эрик Бармак, бывший руководитель Netflix, ответственный за международное производство компании.

Как предполагает Бармак, есть разные способы ответить на этот спрос. Вы можете создавать шоу с местным колоритом, которые по-прежнему будут развлекать отечественных зрителей. Вы можете делать ремейки местных хитов для новой аудитории. И вы можете выкатить субтитры и озвучку. Но Flawless делает ставку на то, что эта технология открывает новые возможности, которые будут особенно интересны кинематографистам.

По словам Лайнса, это потому, что дипфейк-дубликаты компании в какой-то степени сохраняют исполнение оригинального актера. Технология Flawless основана на исследовании Института информатики Макса Планка, впервые опубликованном в 2019 году. Как вы можете видеть в демонстрационном видео ниже, дублирующие копии, которые она производит, в некоторой степени чувствительны к мимикам исполнителей, сохраняя их эмоции и линию передачи.

По словам Лайнса, компания Flawless разработала эти методы за последние три года, чтобы ускорить время производства и сократить количество исходных материалов. Конечный результат по-прежнему представляет собой баланс между автоматическим дублированием и ручным ретушированием (примерно от 85 до 15 процентов), но редактирование выполняется быстро.

«Если что-то выходит и нам это не очень нравится, то мы сделаем несколько итераций; повторно отправим данные обучения в разных формах и получим другой результат», – говорит Лайнс.

Компания надеется, что сохранение оригинальной игры актера будет привлекательно для режиссеров, которые хотят сохранить магию своего оригинального актерского состава. Лайнс приводит в пример датский фильм «Еще по одной» («Another round – Druk»), получивший премию Оскар 2020 года, в котором Мадс Миккельсен играет главную роль в группе учителей, которые экспериментируют с алкоголизмом низкого уровня, чтобы увидеть, улучшит ли он их жизнь. После успеха на родине и присуждения международных наград, фильм будет переделан для англоязычной аудитории с Леонардо Ди Каприо в главной роли.

Эта новость вызвала дискуссию о ценности таких ремейков. Неужели датская культура употребления алкоголя, составляющая основу фильма, действительно настолько чужда американской аудитории, что требуется ремейк? Неужели Миккельсен, актер, который появлялся в таких популярных фильмах, как «Ганнибал», «Доктор Стрэндж» и «Изгой-1», настолько неизвестен, что не может привлечь зрителей в США? И является ли «однодюймовый барьер» субтитров (по словам режиссера Parasite Бон Джун Хо) слишком большим для аудитории, чтобы его преодолеть?

С точки зрения Лайнса, дипфейк-озвучка, по крайней мере, была бы более дешевым способом донести «Еще по одной» до англоязычной аудитории, сохранив при этом свой первоначальный вкус.

«Если мы предлагаем что-то, что стоит два процента от стоимости ремейка, мы можем получить результат, который будет в 10 раз раз лучше ремейка» – говорит он.

У тех, кто отвечает за ремейк, конечно же, будут проблемы не только с деньгами. Каким бы любимым ни был Миккельсен, он не так прибылен, как ДиКаприо. Но Лайнс надеется, что когда дипфейки станут обычным явлением, это изменит расчеты таких ремейков в будущем. Более того, говорит он, это может даже изменить международный кинематографический ландшафт, позволяя актерам и режиссерам выходить на новую аудиторию с минимальными усилиями.

«Я думаю, что притягательная сила актеров изменится во всем мире как следствие этой технологии», – говорит он. «Выступления разных людей и выбор режиссеров будут лучше узнаваемы, потому что их сможет увидеть более широкая аудитория».

Возможно, и так, но на данный момент Flawless необходимо доказать, что аудитории действительно нужны их технологии. Компания, запущенная ранее в этом месяце, заявляет, что у нее уже есть первый контракт с клиентом, которого она не может назвать, но нет сроков, когда мы можем увидеть ее решения в коммерческом телешоу или фильме, и это будет настоящим испытанием.

Подписывайтесь на T4S.TECH в Telegram, «ВКонтакте» и в «Яндекс.Дзен», чтобы оставаться в курсе самых интересных новостей из мира технологий и не только.

Twitter не будет заблокирован в России
Предыдущая статья

Twitter не будет заблокирован в России

Как сообщает «Роскомназдор», федеральное агентство не имеет пока что никаких планов на блокировку популярной социальной сети Twitter. Тем не менее, это не значит, что весь

Internet Explorer уходит на пенсию
Следующая статья

Internet Explorer уходит на пенсию

Знаменитый (часто в плохом смысле) браузер от Microsoft больше не будет работать в программах Microsoft365 и случится это уже в начале лета, 15 июня. Internet


Вверх

🎉 Вы успешно подписались на новости сайта T4S.TECH!
OK