У нас такая специфика - для банка - бот должен - строго соблюдать границы разрешенного (то есть отвечать только на разрешенные вопросы/ темы) - но заданные в любой форме любыми словами и на любом языке - отвечать только в соответствии с политиками банка - никакой креативности тут - полная visibility traceability auditobility - эскалировать на человека оператора все остальное - и еще 10 сек максимальное время ответа под нагрузкой когда десятки тысяч разговоров в день Мы это решаем целым комплексом средств Это и промпты - но не просто промпты - у нас так называемые скилы - то есть отдельные промпты для сложных операций которые не всегда идут в LLM а в разных случаях разные И еще так называемые guards Это на этапе диалога И да потом эти диалоги анализирует другая LLM - выявляет проблемы - и дальше цикл улучшения агента

Вопрос: вы все-таки используете ллм для генерации ответов? С учетом ваших ограничений с моей колокольни можно отвечать несколькими сотнями шаблонов

Только LLM - никаких шаблонов - систему начали писать в 2023

Есть ли какие-то юзкейсы, которые шаблоны не закрывают по сравнению с ллм?

Я думаю тут абсолютно другое качество разговора - с шаблонами клиент чувствует себя не комфортно И шаблоны дорого и долго делать - слишком много вариантов надо перебрать

Ну у вас же скорее всего очень короткие периоды взаимодействия и редко повторяются сценарии (по сравнению с онлифанс)) Можно генерить шаблоны ллмкой и получить воспроизводимое проверяемое поведение. Проверку ответов на типовые вопросы вы скорее всего все равно проводите при тестировании

Не знаю шаблонный вариант не делал

И еще: Есть ли у вас план/договоренности о том что будет, если модель сильно ошибется и нанесет финансовый ущерб кому-то?

Это могу в разговоре прокомментировать