Ребята если кому-то интересно - мы делаем agentic platforms for banks - бот должен НЕ ошибаться - regulated environment ( рад поделиться - обменяться опытом если интересно пишите в личку

У нас все еще сложнее чем у банков 😆

Тем более интересно обменяться

Ну у меня тот же вопрос, как вы это измеряете?)

У нас встроена система отчетности специальная - там LLM читает постфактум разговоры ботов и выявляет любые проблемы - когда бот ответил не так как надо - и дальше кейсы классифицируются и строится аналитика Основной кейс кстати не галюцинации а - нет нужных знаний - или нет нужных интеграций с core banking system

Считаете ли вы, что LLM будет в состоянии надежно выявить галлюцинацию другой LLM (или у вас детерминирована client-facing часть)? Если да, как вы это проверяли? Я вижу тут довольно сложную иерархическую цепочку замеров с ручной разметкой реальных запросов, желательно людьми не из команды (так как иначе они начинают фиксить кейсы, которые размечали и завышают точность)

Интересная тема. Особенно про платформу. Мы тоже пилим разных агентов, в т.ч. для формирования отчетов для менеджмента (как тут выше приводили пример), есть и другие эксперименты. Интересна оркестрация агентов, роли и политики агентов, шаринг контента между агентами и тп. Если кому интересно, было бы классно собраться и очно обменяться опытом.