Обзор на Dream Machine от Luma AI: глупые ролики или нейроискусство?

Что за нейросеть от Luma AI

Dream Machine — это нейросеть для генерации 5-секундных видеороликов на основе изображений или текстовых запросов, притом видео получаются довольно реалистичными и оригинальными. Это важный шаг на пути к созданию ИИ-кинематографа.

Максимальная продолжительность сгенерированного ролика составляет 5 секунд, за которые объект на экране успевает совершить какие-то действия или картинка постепенно  меняется и движется во времени.

На создание одного такого клипа у системы уходит 120 секунд или 2 минуты — это одна из самых быстрых нейросетей подобного уровня генерации. К тому же система выдает готовый результат, имея лишь ваш запрос и/или изображение в любом стиле.

Бесплатные генерации и платные пакеты

Если на изображении или фото основной объект расположен лицом к камере, то программа улавливает все элементы и детали или черты, если речь о живом объекте, запоминает их и сохраняет во всех сменяющихся кадрах единый образ.

Этот факт значительно повышает рейтинг нейросети от Luma AI в сравнении со многими, ей даже пророчат более успешное продвижение, чем Sora (видеогенератор на основе ИИ от ребят из компании OpenAI). 

У каждого посетителя сайта Dream Machine есть возможность попробовать 30 бесплатных генераций в месяц — этого вполне хватит, чтобы оценить качество видеороликов и работу системы.

Перегруженность сервера, которая иногда случается из-за огромного потока посетителей сайта, совсем не напрягает, так как у системы однозначно впечатляющая скорость генерации.

Для любителей  генерации или желающих использовать нейросеть в коммерческих целях есть и платные пакеты: «Стандарт», «Профи» и «Премьер».

Они дают возможность использовать гораздо больше генераций, например, 2000+30 запросов в месяц предусматривает тариф «Премьер» за 499,99 долларов.

Но если вы, как и я, просто ищете чего-то нового в мире генерации, жаждете вдохновения и хотите на одной волне со всеми создавать реалистичные и плавные ролики при помощи ИИ, то вам вполне подойдет и пробное бесплатное использование.

Особенности Dream Machine:

• Создание живых и ярких роликов высокого разрешения
• Скорость исполнения
• Генерация сцен с плавным движением и отличной кинематографией
• Реалистичное исполнение персонажей и последовательность в их изображении
• Соответствие атмосферы и эмоциональности сцен скорости движения
• Возможность бесплатной генерации каждый месяц

Немного о компании Luma

Luma AI — это ИИ, который разработан компанией LumaLabs, офис которой находится в Калифорнии. Специализация: машинное обучение, 3D-фото и дополненная реальность.

Основателями компании являются бывший системный инженер Амит Джайн и технический директор Алекс Ю. Компания создана в 2021 году. Джайн ранее занимался исследованием компьютерного зрения в Apple, а Алекс Ю разрабатывал ПО для машинного обучения.

Тестируем Dream Machine на полную 

Для того чтобы приступить непосредственно к генерации наших роликов, нам нужно:

1. Зайти в систему через аккаунт Google
2. Авторизовавшись, можно выбрать три способа создания видео: загрузка фото, текст, фото + текст
3. Запрос пишем на английском языке, к сожалению, русский система не понимает

Можете воспользоваться функцией «Улучшить подсказку», чтобы получить более детальную и расширенную генерацию, но можно просто более подробно описать запрос, включив какие-то детали (например, погодные условия, осадки, освещение, если вы генерируете пейзаж). Если программа не приняла фото, то стоит изменить размер или формат (png, jpg, jpeg). Как только вы загрузили изображение или написали запрос (или все сразу), можете запустить генерацию и ждать результат. 

Попробуем загрузить сначала просто фотографию собаки (в данном случае это мой пес), сделанную на Android. На мой взгляд, если ввести промт без фото, то видео выходит не таким точным и реалистичным. Но вот мини-ролик по конкретной фотографии — это максимально эффектно.

В данном случае я не прописывала никакой промт — просто загрузила фотографию. В целом видеоролик получился смешной и необычный, но я бы не смогла назвать его реалистичным: непонятные крылья-руки в кадре слева очень мешают позитивному восприятию (да и порода собаки не соответствует, но это уже мои придирки). Плюс: на мой взгляд, мордочка пса выглядит излишне мультяшно и движение ее очень медленное.

Продолжаем генерации

Из более реалистичной генерации у меня получилась, например, такая композиция. Я ввела запрос: «Синяя чашка на столе» и загрузила фото со своего телефона, чтобы цель была более понятной для нейросети. Слишком длинный запрос — провал, ролик длится 5 секунд, поэтому учитывайте, что лишние детали в промте только запутают нейросеть.

Для генератора видео создать ролик по изображению с кружками и простым четким промтом не является сложностью. Можно легко убедиться, что с задачей Dream Machine справился качественно и достойно: видео яркое, высокого качества, логичное и в адекватном темпоритме.

Генерация видео по текстовому запросу

Теперь проведем эксперимент: просто введем текстовый запрос, не загружая фото. Он будет звучать следующим образом: «Белый автомобиль едет вечером по оживленному шоссе». 

Если быть откровенной, видеоролик получился, конечно, нереалистичным и с явными косяками (на мой взгляд, машина едет задним ходом), хотя самому запросу соответствует: мы видим вечернее время суток, горящие огни магистрали, проносящиеся мимо авто.

И в одном создатели точно не обманули: кинематографичность. Клип на самом деле получается очень киношный, как будто это финальная сцена мелодрамы или кадр из голливудского кино. С использованием изображения, как правило, нейросеть допускает меньше искажений при генерации, так как у нее для этого есть наглядная картинка, по которой стоит работать — это упрощает процесс. 

Каждая генерация сохраняется в вашем личном аккаунте, и можно скачать понравившиеся работы. В строке запроса указано, сколько попыток в месяц еще осталось.

Генерация лиц

Возьмем исходное фото в ч/б варианте, на котором изображены девушка и женщина постарше. Не будем вводить никакого промта, просто посмотрим, насколько развито “воображение” у нейросети и что она создаст на основе этого снимка.

Интересная интерпретация вышла: женщина пытается что-то говорить и даже шевелит головой, а девушка просто томно смотрит в кадр и моргает глазами (правда, медленнее, чем нужно). Что из минусов: ну, нереалистично, как ни крути. В остальном вполне неплохая работа и достойная генерация, ради развлечения и знакомства с нейросетями и генераторами видео стоит попробовать.

Итоги знакомства с Luma AI

Вообще, сама идея создания из статичного изображения видеоряда на 5 секунд еще несколько лет назад показалась бы фантастикой и чем-то взрывным — теперь это наша реальность. Но мы не перестанем ей удивляться еще ближайшие лет 5 точно — даже сложно представить простому обывателю, насколько сложен механизм создания подобной системы и ее обучения.

Вы можете генерировать до трех видеороликов в сутки — пока лимит таков, в дальнейшем создатели наверняка изменят политику и могут даже сделать только платные пакеты (есть такие подозрения).

Та же Sora не имеет бесплатного доступа, в то время как Dream Machine предоставляет его всем желающим щедро и без каких-либо вложений, возможно, именно благодаря такому ходу они и смогли завоевать внимание и популярность всего мира в считанные недели.

По итогу хочется обозначить минусы данного сервиса, лично для меня:

1. Нереалистичность видеороликов в 70% случаев (или это мои неоправданные ожидания)
2. ИИ путает движения и выставляет героев или предметы в непривычных ситуациях
3. Описание без фото неинформативно. Получаются сгенерированные корявые клипы
4. Герои картинок не похожи на себя во время действия ролика — схожести ноль
5. Слишком плавное движение кадра, что сразу навевает на мысль графичности
6. При излишней загруженности ожидание составит больше часа (но у меня занимало меньше времени, как правило)

Вопрос, который мог возникнуть у каждого в процессе чтения статьи: нужен ли VPN для использования? Нет, я пользовалась абсолютно свободно без включения VPN — сервис работает на территории РФ.

Будем ждать обновлений и приятных новостей от создателей Dream Machine.