Сбер выпустил нейросеть Kandinsky Avatar 1.0, которая может создавать видеоаватары по фото и голосу

Код и веса моделей доступны для разработчиков бесплатно под открытой лицензией MIT на GitHub,GitVerse и Hugging Face. Моделью также можно будет воспользоваться в популярных инструментах для запуска и интеграции нейросетей – ComfyUI и Diffusers.

Как работает модель

Чтобы создать видеоаватар, модели достаточно изображения, аудиозаписи и короткого текстового описания сцены. Kandinsky Avatar синхронизирует движения губ с речью, и сама добавляет мимику, повороты головы и жесты. Эмоцию персонажа можно задать текстом, тогда аватар будет выражать радость, грусть или злость. Модель создаёт видео на любом языке: аватар говорит на языке аудиозаписи, которую ей передали. Kandinsky Avatar не синтезирует и не клонирует голос: модель работает только с изображением и аудиозаписью, которые предоставляет пользователь. Технология открывает возможности для обучения, бизнеса, творчества и самовыражения.

Денис Димитров, управляющий директор по исследованию данных Сбербанка:

«Видеоаватары позволяют создавать учебные и рекламные ролики, видеоинструкции и персональные обращения к клиентам. Мы открываем модель, чтобы у российских разработчиков была собственная технологическая основа для таких решений. Её можно будет встраивать в свои продукты и дообучать под конкретные задачи, не создавая технологию с нуля. Обратная связь от сообщества поможет нам понять, как модель работает в разных сценариях и что необходимо улучшить. Этот опыт мы используем в следующих версиях Kandinsky и при внедрении видеоаватаров в сервисы Сбера».

Что можно создать на базе Kandinsky Avatar:

• Сервисы для блогеров и авторов контента: пользователь пишет сценарий, озвучивает его и получает ролик с говорящим ведущим
• Образовательные платформы с видеоуроками и курсами, которые ведёт виртуальный преподаватель
• Виртуальных консультантов для бизнеса, которые отвечают клиентам в любое время
• Инструменты локализации: перевод видео на другие языки с точной артикуляцией
• Игры и анимацию с говорящими персонажами
• Приложения для персональных видеооткрыток и личных аватаров

Kandinsky Avatar разработана на базе модели генерации видео Kandinsky 5.0 Video и доступна разработчикам в двух версиях. Флагманская Pro создаёт видео в HD-разрешении и показывает лучшее качество среди протестированных открытых моделей и работает на одном уровне с HeyGen, одним из лидеров рынка коммерческих видеоаватаров. Компактную Lite можно запустить на домашней видеокарте, она генерирует видео в SD и по качеству сопоставима с открытыми моделями, превосходящими ее по размеру в 7–10 раз. Модели обучены более чем на 1 млн фрагментов видео: интервью, выступлений и подкастов на 95 языках, включая русский, английский, казахский, испанский и французский. 

Сравнение с другими моделями

Kandinsky Avatar 1.0 Pro сравнили с ведущими открытыми и проприетарными моделями. Тест проводили вслепую – участники смотрели пары роликов, оценивали их по семи критериям и выбирали лучший, не зная, какая модель создала видео. Ролики Kandinsky Avatar 1.0 Pro выбирали чаще, чем видео каждого из конкурентов: в 63% случаев с Kling Avatar 2, в 60% – с LongCat-Avatar-1.5 и в 54% – с HeyGen IV.

Самый большой отрыв модель показала в синхронизации губ с речью. По этому критерию её предпочли в 77% сравнений с LongCat-Avatar-1.5, в 76% с Kling Avatar 2 и в 69% с HeyGen IV. По естественности мимики и движений Kandinsky Avatar 1.0 Pro выбирали в пять раз чаще, чем Kling Avatar 2. Создание жестов у неё тоже оценили выше, чем у остальных моделей. Модель опережает конкурентов в создании видео как на русском, так и других языках.