Как устроены цифровые аватары

Сегодня цифровые аватары умеют отвечать на популярные вопросы, принимать отзывы, развлекать клиентов в очереди или ожидании заказа и многое другое. Они выглядят настолько естественно, что можно сразу не догадаться, что перед вами робот, а не человек. Проверьте себя, посмотрите рекламный ролик Ситимобил, где опасные для жизни трюки делал не каскадер, а цифровой персонаж. Но так, конечно, было не всегда. Вспомним, как все начиналось.

Считается, что цифровые аватары пришли в бизнес из гейминга. Во всяком случае в книге «Avatars! Exploring and Building Virtual Worlds on the Internet» на этом настаивает ее автор Брюс Деймер и ссылается на видеоигру 1973 года Maze War. По сюжету игрок перемещается по лабиринту, за ним наблюдают глазные яблоки, по сути цифровые аватары других геймеров.

В 1998 году в Великобритании появилась музыкальная группа Gorillaz, состоящая из четырех анимационных участников. Дебютный альбом был продан в количестве семи миллионов копий, а цифровые музыканты попали в Книгу рекордов Гиннесса как «Самая успешная виртуальная группа».

В 2016 году цифровые аватары впервые появились в социальных сетях, а именно в Snapchat.

Дальше — больше. Стартап Brud создал Лил Микелу, цифровую звезду соцсетей. В 2018 году она «посетила» показ Prada в Милане и освещала событие в блоге, индустрия моды тогда впервые всерьез задумалась о маркетинге с виртуальными персонажами. Сегодня у Лил миллионы фолловеров, она рекламирует новые модели BMW и Mini, одежду и сумки Alexander McQueen, Balenciaga и других люксовых брендов.

В 2023 году производитель косметики Maybelline New York использовал цифровой аватар бренда Мэй для рекламной кампании новой туши для ресниц, а М. Видео разработал собственного цифрового инфлюенсера по имени Эм.Ви. Виртуальный персонаж М. Видео уже успела провести стрим в соцсетях бренда, который набрал более 8 млн просмотров, и сняться в клипе Клавы Коки и DJ Smash.

Во-первых, аватары отличаются по наличию и объему использования искусственного интеллекта. Например, решения от Visper и Synthesia не работают в real-time и не подходят для создания диалогового сценария с виртуальным персонажем, но их можно использовать для корпоративного телевидения, когда цифровой ведущий озвучивает заранее написанный текст. Умственные способности аватара зависят от того, подключена ли к проекту LLM — большая языковая модель, такая как ChatGPT, GigaChat от Сбера и YandexGPT. Она позволяет персонажу поддерживать разговор на широкий круг тем. Если проект разработан без нее, то аватар способен общаться строго по сценарию.

Во-вторых, цифровой аватар не обязательно должен иметь 3D-образ. Так, брендовый персонаж сети кофеен One&Double по имени One, напоминающий кофейное зернышко, выполнен в технологии 2D. При этом разработчикам удалось сделать из него по-настоящему живого героя. «One — не только умный помощник, который „знает“ множество разных сценариев, но и харизматичный, яркий персонаж», — комментирует Рита Пылаева, руководитель проекта в EORA.

Разработка цифрового аватара состоит из трех основных блоков:

Мозг аватара — это черный ящик, который работает с текстами. Его задача — принимать запросы и выдавать ответы. Внутри этого черного ящика возможны три сценария взаимодействия с пользователем. Первый — строгий сценарий, дерево реплик. Второй — нейронная сеть с классификатором, куда зашиты вопросы и ответы. Нейросеть берет реплику пользователя и определяет наиболее подходящий по смыслу ответ. Наконец, третий — LLM и промты. Перечисленные сценарии нужно собрать на платформе для создания диалоговых систем, например, zDialog, SAP Conversational AI или Intelligent Virtual Assistants (iVa) Platform. Примечательно, что лучше всего сценарии работают в комбинации: LLM отвечает за кругозор аватара, а дерево реплик — за то, чтобы пользователь прошел сценарий до конца и выполнил целевой действие. Продвижение по сценарию — один из способ измерить engagement аудитории и KPI аватара.

За речь аватара отвечают модели распознавания и синтеза, такие как Yandex SpeechKit и SaluteSpeech от Сбера. Благодаря ним аватар слушает речь, детектирует запрос, получает ответ и воспроизводит его.

Если образ аватара выполнен в 2D, то картинка оживляется с помощью программ для работы с анимацией, таких как Spine и Lotty. Создание 3D-модели аватара начинается со скульптинга образа, основой может выступать референс или реальный прототип, амбассадор бренда. Чтобы оживить модель, используется риггинг, или скелетная анимация, она связывает модель со скелетной иерархией костей и точек управления и делает телодвижения и смены поз естественными. В сложных случаях аватара может отыгрывать актер мокапа, движения которого сначала записывают на специальное оборудование, а затем переносят в цифру. Так создавался, например, Голлум, персонаж «Властелина Колец». Чтобы губы аватара шевелились синхронно с произносимой им репликой, ставится отдельная нейросеть. Сборка виртуального персонажа происходит на игровых движках, таких как Unreal Engine и Unity.

Чтобы цифровой аватар понимал, что к нему подходит пользователь, и мог первым начинать разговор, необходимо ставить модуль распознавания лиц. Альтернативные варианты для запуска беседы — это активационная фраза или кнопка на экране планшета или другого устройства.

Виртуальный аватар и связанные с ним модули и нейросети могут работать локально или в облаке.

Локальное вычисление всегда предпочтительнее, если речь идет о чувствительных персональных данных, при этом оно всегда ведет к удорожанию ИИ-проекта. Нужно надежное железо, а при нагруженных системах также видеокарты, GPU и графические ускорители.

Вычисления в облаке обойдутся дешевле, в качестве техники подойдет практически все, что воспроизводит видео, нужно только поставить качественный микрофон. При этом работоспособность аватара будет напрямую зависеть от скорости интернета. Например, на деловых выставках интернет работает неустойчиво, поэтому облачное вычисление там — серьезный риск. Особенно это критично для 3D-персонажа, потому что по сети нужно передавать готовый видеопоток.