Refactor vector index caching logic #80
Conversation
| if len(set(n_classes)) != 1: | ||
| message = ( | ||
| f"Mismatch in number of classes across splits. Found class counts: {n_classes}. " | ||
| "Ensure all splits have the same number of classes." | ||
| ) |
There was a problem hiding this comment.
здесь можно сделать более подробное сообщение в духе перечислить сплиты и сколько классов в каждом найдено
| seed=random_seed, | ||
| ) | ||
| .values() | ||
| def _split_test(self, test_size: float, random_seed: int) -> None: |
There was a problem hiding this comment.
наверное надо один из OOS сплитов (я полагаю OOS_2) сразу конкатенировать с тестовым сплитом
но я не уверен, плохо помню как это используется на этапе оптимизации предикшена и на этапе тестирования
There was a problem hiding this comment.
эти изменения в принципе можно обратить, я сам продолжу внедрять кеширование
There was a problem hiding this comment.
в целом тут очень ценные изменения по логике работы с данными, я предлагаю на этом пр и закончить
единственное очень не хватает тестов со всевозможными юзкейсами загрузки и отгрузки датасета (мультикласс / мультилейбл, из памяти / из хаба, со сплитами / без сплитов / с неправильными сплитами)
ну еще надо добавить функцию отключать такое дотошное разбиение которое мы придумали, это пригодится тем у кого мало данных (кажется дмитрий уже сделал это в #88 но только для трейна)
No description provided.