Chatbot changelog 19.10.2022

1. Персистентность хранилища фактов (базы знаний): оно теперь умеет работать с SQLite, сохранять собранные в ходе диалога с собеседником данные и загружать их при следующем запуске. Код хранилища доступен тут:. Чтобы использовалась sqlite БД, надо при запуске бота указать опцией --db путь к файлу БД, см. тут.

2. Генерация реплик в GPT переделана на пакетную. На gpu это дает кратное увеличение скорости. Пайплайн бота вообще любит готовить множество вариантов ответной реплики по разным алгортмам, и потом выбирает одну максимально уместную в текущем контексте. Код пакетной генерации в GPT находится тут.

3. Retriever: модель переделана на sentence transformer. По метрикам и визуально по диалогам это дает значительное улучшение качества подбора фактов для обогащения контекста читчата. Код обертки доступен тут. Модель можно использовать автономно, загружая с huggingface.

Докер-образ со всеми актуальными моделями доступен в хабе.