Skip to content

Пайплайн чатбота только на генеративных моделях

Pre-release
Pre-release
Compare
Choose a tag to compare
@Koziev Koziev released this 19 May 10:42
· 82 commits to core_v4 since this release
  1. Движок чатбота полностью переработан и теперь не содержит правил и сценариев. Часть прежней функциональности правил реализуется через управление генерацией в GPT, например - ответы в случае, если в базе знаний бота нет информации для генерации ответа.

  2. Модель интерпретатора сообщений, раскрывающая реплики собеседника до полных клауз на основе текущего контекста, теперь также реализована на GPT, а не отдельной seq2seq модели.

  3. Механизм работы с декларативными знаниями в профиле бота остался почти без изменений: в текстовом файле можно задавать ключевые факты о самом боте и о мире. Эта база знаний обновляется по ходу диалога.

Докер-образ с кодом инференса и моделями доступна тут: https://hub.docker.com/repository/docker/inkoziev/chatbot_v4

Disclaimer: на CPU данная версия работает чрезвычайно медленно. Образ собран так, чтобы его можно было запустить локально на GPU, примерно такой командой:

docker run --gpus all -ti -e PYTHONIOENCODING=utf-8 chatbot