В июне 2024 года компания Luma AI выпустила новую нейросеть для создания видео. Сервис получил название Dream Machine. Это программа, способная по текстовому описанию создать видео профессионального уровня. «Лента.ру» рассказывает, как работает нейросеть, что умеет, а что нет, и кто может в ней творить.
Что такое Dream Machine от Luma AI
Dream Machine от Luma AI — сервис на основе алгоритмов искусственного интеллекта, который позволяет сгенерировать видео по текстовому описанию (промпту). Его представили и запустили 13 июня 2024 года.
Dream Machine сразу привлекла к себе много внимания, потому что стала одним из самых быстрых сервисов по созданию видео.
«Всего за полтора месяца она стала очень популярной площадкой и в связи с большим наплывом желающих за генерацией своего видео уже приходится постоять в очереди, хотя сам процесс преобразования текста в видео производится с молниеносной скоростью — до 120 секунд», — рассказала в беседе с «Лентой.ру» специалист по нейросетям Лена Идейная.
Она уточнила, что пока Dream Machine дает делать ролики продолжительностью до пяти секунд. По мнению Идейной, инструмент можно назвать революционным, так как он открыл новые возможности для всех создателей контента и для всех, у кого есть воображение.
Как работает Dream Machine
Главная функция «Машины мечты» (так переводится Dream Machine) — создание видео с помощью искусственного интеллекта.
Программа доступна пользователям из России. Для Google. Кроме того, нейросеть Dream Machine понимает русский язык.
При этом, как рассказал «Ленте.ру» генеральный директор и основатель компании по разработке программного обеспечения BVM Сергей Чащин, пока генератор видео все-таки лучше справляется с английским. «Нейросеть понимает русский язык для запросов, но даже с более конкретизированными промптами выдает лучший результат, если делать запрос на английском», — пояснил эксперт.
30 бесплатных генераций в месяц по запросам пользователя можно сделать в нейросети Dream Machine
Как создать видео в Luma AI
Программа от Luma AI достаточно простая в использовании.
Откройте сайт Luma AI и нажмите кнопку Try now, которая находится вверху справа. В новом окне нажмите Sign Up To Try, что значит «зарегистрироваться, чтобы попробовать». Сервис переведет пользователя на страницу Google: введите там свои данные для входа в аккаунт, либо подтвердите уже введенные. Сам Google перед входом спросит, готовы ли вы поделиться с сервисом Luma AI доступом к личным данным: почте, фото профиля и другим. Если согласны, нажмите «продолжить». Сразу после этого появится окно для ввода текстового описания видео. Введите промпт на русском или английском (можно воспользоваться сторонним переводчиком). Нажмите справа кнопку со стрелкой, чтобы запустилась генерация видео. Перед этим не забудьте нажать галочку на функции Enhance Prompt. Так вы разрешите нейросети расширять и переписывать запрос для более высокого качества видео. Ниже окна для текста появится изображение, которое пока еще создается нейросетью. Обычно ожидание составляет 120 секунд, но может быть, чуть дольше, потому что на ролики уже образовалась очередь. В таком случае на видео появится значок In queue. Когда видео готово, появится обложка и кнопки дополнительных функций. Скачайте ролик, нажав кнопку Download. Длительность видео можно увеличить на пять секунд, нажав Extend. Тогда появится окно для текста, в которое нужно вписать промпт для создания продолжения вашего видео.
При использовании функции Extend списывается еще одна бесплатная генерация
Расширенное видео появится как новый ролик, то есть у пользователя их будет два: короткий и более длинный. Готовое видео можно оценить, нажав на значок «Нравится» или «Не нравится».
Также видео можно приблизить и рассмотреть более детально: для этого нужно нажать на само окошко с роликом.
Как составить текстовый запрос
Для получения более качественного результата нужно составлять запрос по специальной формуле, отметила Лена Идейная. Обязательно укажите:
кто в видео главный герой (человек или кто-то еще); как он выглядит (например, во что одет); где он находится (что его окружает); что делает (опишите его движения); настроение для видео (веселое, активное, печальное или еще какое-то); движения камеры (крупный план, средний, общий, приближение камеры).
Промпт должен состоять из трех-четырех предложений
«Созданные видео получаются разнообразными даже при использовании одного и того же промпта, но стоит отметить, что все ролики достаточно высококачественные, демонстрирующие реалистичное плавное движение», — добавила эксперт.
Как составить текстовый запрос с фото
В Luma AI есть возможность дать нейросети подсказку, указав вектор движения. Для этого прикрепите к запросу фото того, что хотите видеть в ролике. Специальный значок «картинка» находится слева от текстового окна: нажмите на него, выберите нужное изображение на компьютере и прикрепите его. После этого впишите нужный промпт и нажмите кнопку «Старт». В результате получается «ожившая» картинка.
Тарифы и условия использования
В месяц 30 видео можно генерировать бесплатно, но на всех роликах будет красоваться логотип Luma.
Сейчас на сайте опубликовано объявление о том, что пользователи могут генерировать ограниченное число видео в день — только 10 в сутки. На платные тарифы правило не распространяется
«За 23,99 доллара (2111 рублей) в месяц при оплате годовой подписки доступно уже 150 генераций и разрешено коммерческое использование», — рассказал Сергей Чащин.
При выборе тарифов Pro (от 79,99 доллара, что по курсу составляет около 7040 рублей) и Premier (от 399,99 доллара, то есть 35 208 рублей) количество генераций увеличивается до 400 и 2000 соответственно. Также появляется приоритетность создания видео по вашим промптам. Это значит, что ваши запросы будут обработаны раньше тех, что сделали пользователи бесплатной версии и самого начального тарифа.
Для оплаты понадобится зарубежная карта
Качество видео и ошибки
Для получения лучшего результата необходимо научиться писать как можно более точные и понятные для нейросети запросы. По мнению экспертов, для этого нужно время и тренировка.
«Все усилия компенсируются бесплатными возможностями и легким доступом. Программа доступна каждому», — отметил Сергей Чащин.
Специалисты также признают, что нейросеть пока не идеальна. Она может ошибаться и создавать странные, нереалистичные изображения с эффектом «зловещей долины».
Типичные ошибки Dream Machine:
Шесть пальцев на руках у людей. Изменение пропорций тела при движении. Полное изменение лица персонажа.
Нейросеть от Luma пока не умеет работать с текстом в кадре
«Но создатели уверяют, что нейросеть очень быстро обучается и вскоре результаты станут более впечатляющими», — добавила Лена Идейная.
Что нельзя создать с помощью Luma AI
На сайте нейросети указаны правила, по которым нужно создавать видео. Среди ограничений:
Нельзя создавать контент 18+. Нельзя создавать дипфейки. Нельзя использовать нейросеть в политических целях. Нельзя создавать «психологически вредный» контент. Нельзя использовать видео для мошенничества, обмана и других незаконных действий. Нельзя создавать видео с дискриминацией, пропагандой, подстрекательством к незаконным действиям.