Мы используем cookies и собираем технические данные

Находясь на сайте вы соглашаетесь с применением данных технологий

One. Анимированный помощник в кофейне

Фирменные стаканы кофейни One&Double
One&Double logo

Голосовые ассистенты

В фильме «Назад в будущее 2» Марти Макфлай посещает кофейню, в которой заказы принимает не человек, а компьютер. На его экране появляются разные лица, которые озвучивают меню.
Мы в EORA создали похожего помощника для московской сети кофеен One&Double.

Наш клиент хотел, чтобы бот помогал посетителям в выборе заказа и развлекал их.
Кадр из фильма «Назад в будущее 2»
Пример взаимодействия с помощником One
Помощника зовут One. Это брендовый персонаж One&Double. Он черного цвета и похож на кофейное зернышко.

One встречает посетителей кофейни — машет им с экрана планшета, установленного вблизи стойки бариста.
Брендовый персонаж кофейни One&Double
Пример работы помощника One
Знакомить с меню. Советовать напитки, выпечку, десерты
Пример работы помощника One
Принимать отзывы
Пример работы помощника One
Рассказывать об акциях кофейни
Пример работы помощника One
Сообщать, когда тема ему неизвестна
Пример работы помощника One
Отвечать на популярные вопросы посетителей
Пример работы помощника One
Поддерживать разговор, когда речь идет о чем-то простом
Пример работы помощника One

Он умеет

01/

Анимация

Мы создали «живого» персонажа с мимикой и жестами, имея на руках лишь плоское изображение.

Система распознавания лиц

One начинает разговаривать, только когда видит человека достаточно близко.

Система распознавания речи

Помощник внимательно слушает, что ему говорит посетитель кафе, и отвечает в соответствии со сценарием беседы.
02/

Что внутри

Рита Пылаева

Руководитель проекта

Цитата

«One — не только умный голосовой помощник, который «знает» множество разных сценариев, но и харизматичный, яркий персонаж»
03/
Шаг 03
Разработали сначала «начинку», а затем «оболочку» сервиса
Шаг 02
Создали анимацию. Она «оживила» картинку
Шаг 01
Спроектировали сценарии диалогов с пользователем, написали тексты
Шаг 04
Установили и настроили систему распознавания лиц
Шаг 05
Протестировали помощника
Шаг 06
Полноценно запустили сервис

Процесс разработки

04/
One — это программа, которая запускается в браузере. В рамках пилотного проекта помощника установили только в одной кофейне

Сроки разработки

05/
4 месяца
январь — апрель 2022 года

Инструменты

Сервис для работы с речью. В этом проекте мы использовали
технику  распознавания
и  синтеза речи.

Yandex SpeechKit

Готовый сервис для детекции лиц.

MediaPipe

06/
Программы для работы с анимацией.

Spine, Lotty

Анастасия Лисовая
Проектирование, сценарий и дизайн чат-бота
Сергей Веренцов
Тимлид, фронтенд-разработчик
Рита Пылаева
Руководитель проекта
Алексей Зеленов
Бэкенд-разработчик

Команда проекта

07/

Перенастроили систему распознавания лиц

Сначала One «видел» очень далеко и пытался разговаривать с бариста или теми, кто стоял в очереди.

Оказались неважными психологами

Мы думали, что посетители кафе будут активно общаться с помощником. Но для них визуальные голосовые помощники в новинку. Люди к ним пока относятся настороженно, не решаются начать разговор.

Ошиблись в выборе «железа»

Мы взяли планшет Samsung Tab S7, потому что у него яркий тонкий дисплей. Но оказалось, что в шумной обстановке встроенный микрофон планшета работает плохо. Из-за неточностей в распознавании речи и бот не всегда хорошо срабатывал.
08/

Сложности и открытия

Интересный факт

В стандартном наборе Yandex SpeechKit не было голосов, подходящих для One. Мы сами обработали голос так, чтобы он получился мультяшным, мальчишечьим — прямо как у персонажа

Итоги

09/
Успешно запустили пилот. Планируем заменить планшет на другое устройство с более качественным микрофоном
У сервиса хорошие перспективы. В приоритете — самостоятельный прием заказов

Цитата

Рита Пылаева
Руководитель проекта
Самостоятельный прием и обработка заказов — очень важная функция. Она может принести много пользы бизнесу в плане продаж и «охвата» посетителей
Кофейни и рестораны
Ритейл (продуктовые, книжные, магазины одежды)
Многофункциональные центры
Банки и страховые компании

Сферы применения

10/

Цитата

Рита Пылаева
Руководитель проекта
«Визуальный голосовой помощник можно много где использовать. Его функционал практически универсальный. Экран с ассистентом можно установить везде, где есть поток людей, которым нужна помощь»

Похожие проекты

Автоматизация контакт-центра «Додо-пиццы»
«Сказки для Алёши» — навык для Google Assistant
11/
Purina. Навык-викторина для Алисы
Логотип Сказки для Алёши
Логотип Purina
Логотип ДоДо Пицца
Напишите нам