3D Avatar Diffusion — це алгоритм машинного навчання, який здатен перетворювати двовимірні (2D) зображення людського обличчя в тривимірні (3D) аватари. Потім тривимірний аватар можна використовувати для створення досвіду віртуальної реальності (VR) або доповненої реальності (AR) або просто для надання реалістичного тривимірного вигляду людини для ігор чи інших цілей.
https://3d-avatar-diffusion.microsoft.com
3D Avatar Diffusion базується на типі алгоритму машинного навчання, який називається моделлю дифузії. Дифузійні моделі є генеративними моделями, це означає, що вони можуть генерувати нові й нові дані, подібні до вже завантажених, такі собі навчальні дані. Дифузійні моделі використовувалися для створення 3D-зображень із 2D-зображень, але ADM стала першою моделлю дифузії, яка може створити реалістичний 3D-аватар маючи лише одне 2D-зображення.
Щоб навчити цю модель, дослідники використали набір даних із понад 200 000 3D-моделей обличчя. Набір даних включав широкий спектр облич з різними відтінками шкіри, зачісками та рисами обличчя. Тоді ADM зміг створити зв’язок між 2D-зображенням і 3D-моделлю обличчя та відтворити реалістичний 3D-аватар з одного 2D-зображення.
Окрім того, програма підтримує маніпуляції з текстом для додаткового налаштування 3D-аватара. Можна інтуїтивно редагувати різноманітні атрибути для реконструйованого 3D-аватара за допомогою тексту, вписавши основні ознаки вашого аватару або перемикаючи параметри.
Модель демонструє вражаюче різноманіття аватарів: за статтю, віком, етнічним походженням, виразом обличчя, аксесуарами для обличчя тощо.
Модель також можна використовувати для створення 3D аватара з фотографії, зробленої під іншим кутом
У цьому дослідженні пропонується тривимірна генеративна модель, яка автоматично створює 3D аватари, які представлені у вигляді нейронних полів випромінювання з моделями дифузії. Але через непомірні вимоги до пам’яті та обробки, пов’язані з 3D, створення такого широкого функціонала, необхідних для високоякісних аватарів, стає величезною проблемою. Розробники пропонують розгорнуту дифузійну мережу (Rodin) для того, щоб розв'язати цю проблему.
Ця мережа розгортає численні 2D-карти функцій поля нейронного випромінювання в одну площину 2D-функцій, де потім модель виконує дифузію з урахуванням 3D. Модель Родена використовує згортання з урахуванням 3D, фокусуючись на спроєктованих об’єктах в площині 2D-об’єктів відповідно до їх вихідного співвідношення в 3D, щоб забезпечити таку необхідну обчислювальну ефективність, зберігаючи при цьому цілісність дифузії в 3D.
Раніше Білл Гейтс стверджував, що його колишня компанія розробляє офісне програмне забезпечення Teams з 3D-аватарами та іншими функціями, зручними для метавсесвіту. Тепер же Microsoft працює з Марком Цукербергом і Meta. Однак, щоб зробити останню соціальну мережу Workplace для компаній сумісною з Teams.
https://3d-avatar-diffusion.microsoft.com
⚡ Якщо тобі сподобався цей матеріал, підпишись на наші соціальні мережі Instagram / Facebook / Linkedin / Telegram. Там ти знайдеш більше цікавих матеріалів про дизайн.
🖤 Підтримати проект ←Банка Mono