Lumiere – новая нейросеть от компании Google для создания коротких видеороликов. Основана на ИИ-модели пространственно-временной диффузии Space-Time-U-Net, STUNet.

Официальный сайт

Как работает нейросеть Lumiere

Главное отличие от других нейронных сетей – отказ от многоступенчатой генерации. Представленная ИИ-модель выполняет задачу в один этап. Нейросеть Lumiere использует пространственную и временную дискретизацию с понижением и повышением частоты кадров. В качестве основы видео применяется технология преобразования текста в изображение.

Технология Lumiere

Искусственный интеллект обучен создавать полнокадровое ролики с низким разрешением путем обработки в нескольких пространственно-временных масштабах. По заявлению Google, новации в способе генерации устранили ошибки в кадрах видео и улучшили плавность анимации.

Новый скин в Notcoin: используем азбуку Морзе для получения
Скин секретный и недоступен во вкладке Boosts в игре.
T4S.TECHAdmin

ИИ-модель обучена на базе из 30 миллионов роликов. Разработчики Google загрузили в нейросеть видео с детальным текстовым описанием. Датасет включает ролики в формате 128x128 pixels с частотой кадров 16 FPS. На основе загруженной базы данных искусственный интеллект генерирует уникальные видео продолжительностью 5 секунд в разрешении 1024×1024.

0:00
/0:05

Пример видео

0:00
/0:05

Пример видео

0:00
/0:05

Пример видео

Функционал

Нейросеть Lumiere умеет:

  • создавать видео на основе текстовых запросов;
  • генерировать ролики по загруженной картинке;
  • предоставлять результаты в едином стиле;
  • анимировать часть изображения - воду в реке, облака в небе, огонь от костра;
  • дорисовывать фрагменты - добавить шляпу, изменить цвет платья.

Созданный ролик доступен для повторной обработки, если пользователь захочет сменить стиль.

0:00
/0:05

Пример видео

0:00
/0:05

Пример видео

0:00
/0:05

Пример видео

Нейросеть Lumiere – как начать работу

На момент написания обзора Lumiere недоступна для использования. Исходный код остается закрытым. Точные сроки, когда нейросеть появится в общем доступе, неизвестны.

Для тестирования ИИ-модели после релиза понадобится аккаунт Google. На официальным сайте доступны примеры работ с текстовыми запросами. Присутствует демонстрация технологии работы нейросети.

Нейросеть Clipdrop — дорисовка фото бесплатно
Нейросеть создает изображения по текстовому запросу и дорисовует фотографии.
T4S.TECHАлександр

Особенности

  • нейросеть для генерирования коротких роликов;
  • модель ИИ понимает текстовые запросы;
  • частично анимирует изображения;
  • добавляет или устраняет детали;
  • превращает картинки в видео;
  • создает ролики с разрешением 1024×1024 пикселей.