← Все новости

Речевые технологии в контакт-центре: распознавание и синтез речи, NLU и LLM простыми словами

Голосовой робот, который понимает клиента и отвечает живым голосом, собран из нескольких технологий с непонятными аббревиатурами. Разбираем по очереди: что делает каждая, как они работают вместе за доли секунды и где ещё в контакт-центре пригодятся — от аналитики до подсказок оператору.

294

Путь одной фразы клиента

Клиент говорит: «Перенесите доставку заказа 12345 на пятницу». Чтобы робот ответил, фраза проходит через цепочку технологий:

ЭтапТехнологияРезультат
1. Очистить звукШумоподавление и VADРечь отделена от шума и пауз
2. Превратить голос в текстASR«перенесите доставку заказа один два три четыре пять на пятницу»
3. Понять смыслNLU и LLMНамерение: перенос доставки. Сущности: заказ 12345, дата — пятница
4. Выполнить действиеИнтеграция с CRMДоставка перенесена, получено новое окно
5. Ответить голосомTTS«Готово, доставка перенесена на пятницу, с 10 до 14 часов»

В хорошей системе все этапы работают потоково: робот начинает понимать фразу ещё до того, как клиент договорил, и отвечает примерно через 0,3 секунды. Задержка больше секунды разрушает ощущение живого разговора.

ASR — распознавание речи

ASR (Automatic Speech Recognition) превращает голос в текст. От качества распознавания зависит всё остальное: если робот услышал «двенадцать тридцать пять» вместо «один два три четыре пять», дальше он работает с неверными данными.

Особенности телефонии — узкая полоса звука, шум, сжатие кодеками — делают распознавание звонков сложнее, чем расшифровку подкастов. Какие движки существуют и как выбрать свой, мы разобрали в статье «Распознавание речи для колл-центра».

NLU — понимание естественного языка

NLU (Natural Language Understanding) отвечает на вопрос «что имел в виду клиент». Два главных понятия:

  • Интент (намерение) — цель обращения: узнать статус, перенести, отменить, пожаловаться. «Где мой заказ?», «Когда привезут?» и «Заказ ещё не пришёл» — один интент.
  • Сущности (NER, Named Entity Recognition) — конкретные данные из фразы: номер заказа, дата, сумма, адрес, фамилия.

Классический NLU обучается на примерах фраз для каждого интента. Он быстрый и предсказуемый — хорошо подходит для типовых сценариев.

LLM — большие языковые модели

LLM (Large Language Model) — следующий уровень понимания. Языковая модель:

  • понимает формулировки, которых не было в обучающих примерах;
  • держит контекст длинного диалога и уточняет детали;
  • отвечает на вопросы по базе знаний компании, формулируя ответ под ситуацию;
  • делает краткое содержание разговора для оператора и CRM.

LLM не заменяет NLU, а дополняет его. Для действий с деньгами и персональными данными по-прежнему нужны строгие сценарии с проверками, а языковая модель отвечает за естественность диалога.

TTS — синтез речи

TTS (Text-to-Speech) превращает текст ответа в голос. Современный нейросетевой синтез звучит естественно: с интонацией, паузами, правильными ударениями. Важные моменты для контакт-центра — скорость синтеза (ответ не должен задерживаться), правильное произношение чисел, адресов и названий и единый голос во всех сценариях.

Другие технологии, о которых полезно знать

ТерминЧто этоЗачем в контакт-центре
VADДетектор голосовой активностиПонять, когда клиент начал и закончил говорить, не перебивать его
ДиаризацияРазделение записи по говорящимОтделить реплики оператора от реплик клиента в аналитике
Voice-to-intentОпределение намерения сразу по звукуУскорить реакцию в простых сценариях
Голосовая биометрияУзнавание человека по голосуБыстрая идентификация клиента без кодовых слов
RAGПоиск по документам + генерация ответа языковой модельюОтветы по актуальной базе знаний без «выдумок»
СаммаризацияКраткое содержание разговораАвтоматическое заполнение карточки обращения

О биометрии и интентах подробнее — в статье «Интенты, сущности и голосовая биометрия».

Где речевые технологии работают в контакт-центре

  • Голосовой робот — вся цепочка ASR → NLU/LLM → TTS для входящих и исходящих звонков. Обзор — в статье «Голосовой бот для бизнеса».
  • Транскрибация и поиск — расшифровка всех разговоров для поиска по словам и разбора жалоб.
  • Речевая аналитика — темы обращений, причины повторных звонков, соблюдение скрипта.
  • Подсказки оператору — распознавание в реальном времени и ответы из базы знаний во время разговора.
  • Автозаполнение CRM — краткое содержание и результат разговора попадают в карточку без ручного ввода.

Глоссарий

АббревиатураРасшифровкаКоротко
ASRAutomatic Speech RecognitionГолос → текст
STTSpeech-to-TextТо же, что ASR
TTSText-to-SpeechТекст → голос
NLUNatural Language UnderstandingПонимание смысла фразы
NERNamed Entity RecognitionИзвлечение данных из фразы
LLMLarge Language ModelБольшая языковая модель
VADVoice Activity DetectionОпределение, когда говорят
WERWord Error RateДоля ошибок распознавания
RAGRetrieval-Augmented GenerationОтвет языковой модели по найденным документам

Речевые технологии в LLACOT

LLACOT AI Voice Robot объединяет все звенья цепочки:

  • шумоподавление и детектор голоса на входящем SIP-звонке;
  • потоковое распознавание русской речи с точностью 95 %+ на чистой речи;
  • NLU и LLM: намерения, сущности, обращение к CRM и API в реальном времени;
  • нейросетевой синтез речи с низкой задержкой — ответ примерно через 0,3 секунды;
  • модульный стек: модели распознавания, понимания и синтеза выбираются под задачу и могут работать полностью на ваших серверах;
  • аналитика диалогов: транскрибация, разметка интентов, саммаризация, точки отказа.

В контакт-центре LLACOT разговоры операторов записываются, расшифровываются, а краткое содержание звонка отправляется в карточку клиента в CRM.

Частые вопросы

Чем ASR отличается от NLU?

ASR отвечает на вопрос «что сказали» и выдаёт текст. NLU отвечает на вопрос «что имели в виду» и выдаёт намерение и данные.

Нужна ли LLM, если сценарии простые?

Не обязательно. Для узких сценариев с короткими ответами хватает классического NLU — он быстрее и требует меньше ресурсов. LLM добавляют, когда клиенты формулируют вопросы очень по-разному или нужны ответы по большой базе знаний.

Можно ли использовать речевые технологии без интернета?

Да. Все компоненты могут работать на серверах компании — это стандарт для банков, медицины и госсектора.

Услышать, как это работает

Проведём демо-звонок с роботом и покажем расшифровку и разметку диалога. Запишитесь на странице LLACOT AI Voice Robot или по телефону +7 (843) 202-35-38.