Что именно теряется при переводе, когда телешоу и фильмы дублируются на новый язык? На этот вопрос сложно ответить, но благодаря команде AI стартапа Flawless (Безупречный), возможно, нам не придется думать об этом в будущем.

Компания утверждает, что у нее есть решение именно этого языкового барьера; техническая инновация, которая может помочь телешоу и фильмам без труда выйти на новые рынки по всему миру: дипфейки.

Мы часто думаем о дипфейках как о манипулировании всем изображением человека или сцены, но технология Flawless фокусируется только на одном элементе: рте. Пользователи загружают в программное обеспечение компании видео из фильма или телешоу, а также дублированные диалоги, записанные людьми. Затем модели машинного обучения Flawless создают новые движения губ, соответствующие переведенной речи, и автоматически вставляют их в голову актера.

«Когда кто-то смотрит этот дублированный материал, его не выбивает из выступления резкое слово или несвоевременное движение рта», – сказал соучредитель Flawless Ник Лайнс. «Все дело в сохранении характеристик и оригинального стиля».

Результаты, несмотря на название компании, не на 100% безупречны, но они довольно хорошие. Вы можете увидеть и услышать, как они выглядят, на демо-ролике ниже, который представляет собой французский дубляж классической юридической драмы 1992 года «Несколько хороших людей» с Джеком Николсоном и Томом Крузом в главных ролях. Мы спросили носителя французского языка, что они сделали из отснятого материала, и он ответил, что в некоторых местах он отключен, но все же намного более плавный, чем при традиционном дубляже.

Что делает технологию Flawless особенно интересной, так это масштабы и возможности ее использования. Идея Flawless заключается в том, что дипфейк-озвучки предлагают крайне заманчивое соотношение цены и качества: они дешевы и быстро создаются, особенно по сравнению со стоимостью полных ремейков.

А с появлением глобальных потоковых платформ, таких как Netflix, Disney Plus и Amazon Prime Video, дублированному контенту стало проще, чем когда-либо, выйти на международные рынки.

Как подчеркивается в недавнем отчете The Wall Street Journal, спрос на потоковые сервисы в США насыщен, и теперь компании ищут возможности для будущего роста за рубежом. Например, в первом квартале 2021 года 89 процентов новых пользователей Netflix прибыли из-за пределов США и Канады, а самое популярное шоу сервиса – «Люпин» – это парижский триллер.

«Вы видите, что все больше и больше стримеров выходят в Интернет, осознавая, что подавляющее большинство их потребителей со временем будут находиться за пределами США. Вопрос в том, насколько международным должен быть ваш контент, чтобы быть успешным» – сказал WSJ Эрик Бармак, бывший руководитель Netflix, ответственный за международное производство компании.

Как предполагает Бармак, есть разные способы ответить на этот спрос. Вы можете создавать шоу с местным колоритом, которые по-прежнему будут развлекать отечественных зрителей. Вы можете делать ремейки местных хитов для новой аудитории. И вы можете выкатить субтитры и озвучку. Но Flawless делает ставку на то, что эта технология открывает новые возможности, которые будут особенно интересны кинематографистам.

По словам Лайнса, это потому, что дипфейк-дубликаты компании в какой-то степени сохраняют исполнение оригинального актера. Технология Flawless основана на исследовании Института информатики Макса Планка, впервые опубликованном в 2019 году. Как вы можете видеть в демонстрационном видео ниже, дублирующие копии, которые она производит, в некоторой степени чувствительны к мимикам исполнителей, сохраняя их эмоции и линию передачи.

По словам Лайнса, компания Flawless разработала эти методы за последние три года, чтобы ускорить время производства и сократить количество исходных материалов. Конечный результат по-прежнему представляет собой баланс между автоматическим дублированием и ручным ретушированием (примерно от 85 до 15 процентов), но редактирование выполняется быстро.

«Если что-то выходит и нам это не очень нравится, то мы сделаем несколько итераций; повторно отправим данные обучения в разных формах и получим другой результат», – говорит Лайнс.

Компания надеется, что сохранение оригинальной игры актера будет привлекательно для режиссеров, которые хотят сохранить магию своего оригинального актерского состава. Лайнс приводит в пример датский фильм «Еще по одной» («Another round – Druk»), получивший премию Оскар 2020 года, в котором Мадс Миккельсен играет главную роль в группе учителей, которые экспериментируют с алкоголизмом низкого уровня, чтобы увидеть, улучшит ли он их жизнь. После успеха на родине и присуждения международных наград, фильм будет переделан для англоязычной аудитории с Леонардо Ди Каприо в главной роли.

Эта новость вызвала дискуссию о ценности таких ремейков. Неужели датская культура употребления алкоголя, составляющая основу фильма, действительно настолько чужда американской аудитории, что требуется ремейк? Неужели Миккельсен, актер, который появлялся в таких популярных фильмах, как «Ганнибал», «Доктор Стрэндж» и «Изгой-1», настолько неизвестен, что не может привлечь зрителей в США? И является ли «однодюймовый барьер» субтитров (по словам режиссера Parasite Бон Джун Хо) слишком большим для аудитории, чтобы его преодолеть?

С точки зрения Лайнса, дипфейк-озвучка, по крайней мере, была бы более дешевым способом донести «Еще по одной» до англоязычной аудитории, сохранив при этом свой первоначальный вкус.

«Если мы предлагаем что-то, что стоит два процента от стоимости ремейка, мы можем получить результат, который будет в 10 раз раз лучше ремейка» – говорит он.

У тех, кто отвечает за ремейк, конечно же, будут проблемы не только с деньгами. Каким бы любимым ни был Миккельсен, он не так прибылен, как ДиКаприо. Но Лайнс надеется, что когда дипфейки станут обычным явлением, это изменит расчеты таких ремейков в будущем. Более того, говорит он, это может даже изменить международный кинематографический ландшафт, позволяя актерам и режиссерам выходить на новую аудиторию с минимальными усилиями.

«Я думаю, что притягательная сила актеров изменится во всем мире как следствие этой технологии», – говорит он. «Выступления разных людей и выбор режиссеров будут лучше узнаваемы, потому что их сможет увидеть более широкая аудитория».

Возможно, и так, но на данный момент Flawless необходимо доказать, что аудитории действительно нужны их технологии. Компания, запущенная ранее в этом месяце, заявляет, что у нее уже есть первый контракт с клиентом, которого она не может назвать, но нет сроков, когда мы можем увидеть ее решения в коммерческом телешоу или фильме, и это будет настоящим испытанием.