Sauts dans les offsets

[DonovanMaillard]

Bonjour,

je constate en faisant un --full ce midi que j'ai des sauts dans les offsets, un peu par hasards.

2023-12-06 12:43:30,394 - INFO - store_postgresql:store_data - 1000 items have been stored in db from data of source cen74 (0 error occurred)
2023-12-06 12:43:30,427 - INFO - api:get_page - Download page https://geonature.xxx.fr/api/exports/api/3?limit=1000&orderby=id_synthese&offset=22
2023-12-06 12:43:30,494 - INFO - download:report - Storing 1000 datas (6000/68950 8.70 %) from CEN74 data
2023-12-06 12:44:01,754 - INFO - api:get_page - Download page https://geonature.xxx.fr/api/exports/api/3?limit=1000&orderby=id_synthese&offset=36

Déjà rencontré ? Une raison qui pourrait expliquer ça ?

Je suis sur un serveur mis à jour dernièrement, python 3.9 est bien installé, et j'interroge la BDD du CEN74 qui est bien à jour sur son utilitaire flask-sql-alchemy

[DonovanMaillard]

Ca pourrait venir d'un soucis de version de python ? (j'ai la 3.9 et la 3.7 qui cohabitent, je n'ai pas encore retiré l'ancienne).

[lpofredc]

Je pense que c'est lié à l'implantation de la parallélisation dans GN2PG.

Quelle est la valeur de la variable nb_threads du fichier de config associé à cet import ?

Retrouves-tu bien tu les 68950 données en base ?