Refactor/modules dumping and loading #93
Conversation
… to pipeline and context
|
|
||
| # create shared objects for a whole pipeline | ||
| context = Context(cfg.seed) | ||
| cfg.logs.clear_ram = True | ||
| context.configure_logging(cfg.logs) | ||
| context.configure_vector_index(cfg.vector_index, cfg.embedder) | ||
| context.configure_data(cfg.data) | ||
| context.configure_cross_encoder(cfg.cross_encoder) |
There was a problem hiding this comment.
А зачем нам его отдельно конфигурировать? Вроде это отдельная нода, которую еще не факт, что будут использовать
There was a problem hiding this comment.
Начиная с предвдущего ПР кроссэнкодер это можно сказать такая же сущность что и эмбедер:
- ее можно использовать как один из кирпичиков для имплементации модулей
А начиная с этого ПР во время авто конфигурации пайплайна кроссэнкодер можно инициализировать из контекста т.е. достать из контекста все параметры (правда пока что кроме названия модели)
Вот из-за последнего мы должны хранить конфиг кроссэнкодера в контексте
There was a problem hiding this comment.
А про то что не факт что будут использовать. Это да, выглядит странно что мы вне зависимости от того используют кроссэнкодер или нет всегда его конфигурируем. Нооо типа ладно. Пользователю в ручную это делать не надо, там используется дефолтныц конфиг
There was a problem hiding this comment.
Просто то как у нас идет работа с эмбеддером это костыль немного и кроссэнкодер сейчас тоже такой. Можно конечно оставить эти изменения на потом
There was a problem hiding this comment.
в чем конкретно костыльность?
There was a problem hiding this comment.
В том что их тоже надо оптимизировать
Теперь логика по отгрузке модулей в файловую систему реализована в файле
_dump_tools.py. Теперь при написании нового модуля можно не реализовывать методыloadиdump, достаточно убедиться что все нужные объекты сохранены в виде атрибутов и имеют допустимый тип (см типы в файле_dump_tools.pyТак то сделано много всего, что стоило разбить на несколько PR:
VectorIndexClient, поскольку с кешированием от Егора, в нем пропала надобностьRerankScorerиDNNCScorerу эмбедера и кросс энкодера разные параметры девайса, батч сайза и все такоеEmbedderиCrossEncoderотгружаются в файловую систему без сохранения весов трансформеров (ура логи будут весить меньше)Еще конечно много TODO осталось, но в текущем виде (возможно после устранения ошибок билда документации) этот PR уже можно мерджить чтобы не блокать работу остальных