AI Gen 1 — як зі звичайного зображення згенерувати відео


Про RunwayML - компанія з розробки ШІ

RunwayML — революційна компанія, яка використовує можливості штучного інтелекту та глибокого навчання, щоб революціонізувати спосіб взаємодії людей з даними. Ця компанія є лідером у розробці та застосуванні найсучасніших технологій штучного інтелекту для розв'язання реальних проблем.

RunwayML була заснована у 2017 році командою вчених ШІ та інженерів програмного забезпечення, які хотіли створити платформу ШІ, доступну для всіх. Їхнє бачення полягає в тому, щоб зробити рішення на основі штучного інтелекту доступнішими та дозволити людям використовувати його без необхідності бути експертом у цій технології.

За останні роки технологія штучного інтелекту досягла значних успіхів, і організації з усього світу вкладають значні кошти в її розвиток. RunwayML — не виняток.

Про Gen 1

Gen 1 — це платформа, машинного навчання, створена RunwayML. Вона дозволяє реалістично і послідовно створювати відео спираючись на вихідні зображення, стилістику доданих матеріалів, а також текстові підказки. Програма надає користувачам повний набір інструментів і підтримку для створення власних відео.

https://research.runwayml.com/gen1

Щоб використовувати програму, користувачі повинні мати обліковий запис і доступ до платформи. Отримавши обліковий запис, вони можуть створити проєкт і почати вивчати функції платформи, а також отримати доступ до спільноти розробників платформи, яка може допомогти їм із будь-якими запитаннями.

у 2022 році декілька компаній випустили подібні моделі створення відео з тексту. Meta оприлюднила Make-a-Video, а Google Phenaki та Muse. Обидва рішення підтримують створення коротких відеокліпів за допомогою введення тексту користувачем. Минулого тижня Google запустив Dreamix, яка виглядає найбільш схожою технологією у порівнянні з Gen-1. Подібно до рішення Runway, Dreamix використовує наявний відеовміст і застосовує до нього нові стилі.

0:00
/

Судячи з демонстраційного відео Runway, схоже, що модель компанії Gen-1 відкриває нові можливості, яких не вистачає в конкурентних продуктів. По-перше, Runway дозволить користувачам змінювати наявний вміст за допомогою введення тексту та зображень. Runway стверджує, що його відеовміст GEN-1 отримав «перевагу перед теперішніми методами для переходів із зображення на зображення та відео на відео» більш ніж на 73% (Stable Diffusion 1.5) і 88% (text2Live).

Найближчими днями компанія хоче розкрити технічні подробиці на своєму веб-сайті. Наразі лише декілька користувачів отримали запрошення спробувати Gen-1. Існує список очікування, але незрозуміло, коли технологія стане доступною для користувачів режиму.

Як працюватиме платформа?

Крок 1: Стилізація

За допомогою зображень або текстової підказки передайте або опишіть стиль, який хочете побачити на відео або не певних кадрах.

0:00
/

Крок 2: Storyboard

Перетворюйте звичайні статичні макети на повністю стилізовані та анімовані візуалізації за допомогою редактора

0:00
/

Крок 3: Маска

Виділіть об’єкти у своєму відео та змініть їх за допомогою простих текстових підказок.

0:00
/

Крок 4: Рендер

Перетворюйте нетекстуровані рендери на реалістичні результати, застосувавши вхідне зображення або підказку.

0:00
/

Крок 5: Налаштування режиму

Розкрийте всю потужність Gen-1, налаштувавши модель для отримання ще більш точних результатів.

0:00
/

Приклади роботи з Gen 1

Актор у відео стає супергероєм мультфільму. Його перетворення базується на вхідному зображенні. Модель можна допрацювати власними зображеннями для кращих трансформацій.

0:00
/

Gen-1 також може ізолювати та змінювати об’єкти у відео, наприклад, перетворивши золотистого ретривера на далматинця, застосовувавши текстури до нетекстурованих 3D-об’єктів. Текстури також створюються за допомогою текстової підказки.

0:00
/

Відео, відредаговані штучним інтелектом, ще не можуть конкурувати з професійно відредагованим відео. Вони містять помилки зображення, спотворену геометрію або просто виглядають фальшивими та нереальними. Але проєкт ще на зародковому етапі.

«Системи штучного інтелекту для синтезу зображень і відео швидко стають більш точними, реалістичними та керованими»

0:00
/

Gen-1 використовує наявний відеоконтент і перетворює його на новий відеовміст за допомогою текстових інструкцій або зображень. Технологія відкриває нові можливості не лише в комерційному середовищі, але й для хобі та домашнього використання. Ймовірно, це лише питання часу, коли подібні інструменти будуть запущені на популярних веб-хостингах і потокових відео.

https://research.runwayml.com/gen1


⚡ Якщо тобі сподобався цей матеріал, підпишись на наші соціальні мережі Instagram / Facebook / Linkedin / Telegram. Там ти знайдеш більше цікавих матеріалів про дизайн.

🖤  Підтримати проект ←Банка Mono