Как установить бесплатный ИИ-инструмент для анимации изображений LivePortrait на компьютер

За последние несколько дней в социальных сетях, таких как X, Reddit и LinkedIn, стали появляться видеоролики с анимированными портретами, созданными из отдельных изображений. Эти реалистичные портретные анимации стали результатом работы нового инструмента искусственного интеллекта с открытым исходным кодом под названием LivePortrait.

LivePortrait работает на основе фреймворка vid2vid, который анимирует неподвижные портреты, используя особенности движения из видеофрагментов.

Если вы хотите узнать, как он работает, прочитайте техническую статью здесь.

В этой статье я расскажу вам о пошаговом процессе установки LivePortrait на ваш компьютер. Прочитав это руководство, вы сможете анимировать статичные фотографии, как в примерах ниже:

Процесс довольно прост, нам нужно будет выполнить всего три шага:

Прежде чем перейти к пошаговому руководству, убедитесь, что ваша система настроена или соответствует минимальным аппаратным требованиям LivePortrait.

Системные требования:

1. Клонируйте репозиторий. Откройте терминал или командную строку и выполните следующую команду, чтобы клонировать репозиторий LivePortrait на GitHub:

После этого создастся новая папка с именем 'LivePortrait' на вашем локальном диске. Также вы можете загрузить репозиторий с GitHub и открыть в терминале папку 'LivePortrait'.

2. Создайте среду Conda. Мы будем использовать Conda для создания чистой среды для LivePortrait. Если в вашей системе не установлена Conda, обратитесь к этому руководству, чтобы установить ее.

Как только вы установите Conda, введите команду:

Таким образом будет создана новая среда под названием 'LivePortrait' с Python 3.9.18.

3. Активируйте среду. Переключитесь на только что созданную среду, выполнив команду:

При выполнении этой команды не будет создано никаких логов.

4. Установите компоненты. Установите все пакеты, необходимые LivePortrait, с помощью следующей команды:

Учтите, что на этом шаге будут загружаться большие файлы, поэтому убедитесь, что на локальном диске достаточно места.

Загрузите и распакуйте веса для LivePortrait отсюда. Структура конечного файла должна выглядеть следующим образом:

Когда все готово, пришло время запустить интерфейс LivePortrait. В терминале введите следующую команду:

Вы можете запустить его как по локальному адресу, так и по ссылке.

Локальный URL предназначен для использования LivePortrait на вашем компьютере, в то время как общедоступный URL позволяет использовать интерфейс совместно с другими пользователями. Имейте в виду, что срок действия публичного URL истекает через 72 часа. Для получения бесплатного постоянного хостинга и обновления GPU вы можете запустить gradio deploy из терминала, чтобы установить его на HuggingFace Spaces.

Теперь, когда LivePortrait запущен, давайте создадим вашу первую анимацию.

На моем компьютере с NVIDIA RTX 3060 Ti с 8 ГБ VRAM процесс занял около двух минут. Время обработки может отличаться в зависимости от технических характеристик вашего оборудования. После завершения вы увидите окончательный результат, отображенный в веб-приложении Gradio.

Вот более четкое видео.

LivePortrait также работает с мультяшными 3D-лицами с диснеевской эстетикой. Вот пример:

Вы можете экспериментировать с различными типами изображений и анимированными референсными видео. Поверьте, пользоваться им очень весело, а результаты часто бывают довольно смешными.

Ниже приведены результаты инференции одного кадра на графическом процессоре RTX 4090 с помощью встроенного фреймворка PyTorch с помощью torch.compile:

Если вам удобнее работать с ComfyUI, ознакомьтесь со схемой работы.

Хотя в этом руководстве я не буду описывать пошаговый процесс его установки и запуска, его определенно стоит изучить, если вы знакомы с ComfyUI. Если будет интерес, я с удовольствием напишу отдельное руководство, посвященное интеграции с ComfyUI.

Напишите мне в комментариях, если вам нужно такое руководство.

В целом, этот ИИ-инструмент с открытым исходным кодом, оживляющий фотографии, доставляет массу удовольствия. Однако он не идеален - он работает с только с изображениями людей и не справляется с портретами под необычными углами.

Будучи проектом с открытым исходным кодом, LivePortrait, вероятно, будет со временем совершенствоваться благодаря вкладу мирового сообщества разработчиков. Было бы интересно увидеть в будущих версиях поддержку более гибких движений головы или губ, или даже возможность накладывать текст или звук на анимированные портреты.

В настоящее время я изучаю различные рабочие процессы ComfyUI и рассматриваю возможность создания более удобного приложения на основе LivePortrait. Цель состоит в том, чтобы сделать эту технологию доступной для пользователей, не требуя от них прохождения сложного процесса настройки, который я описал здесь.

Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Источник статьи на английском - здесь.