Archivage des données AIS

[njouanin]

Résumé :

• traitement d'archivage créé par Nicolas => exportation des données en local au format parquet
• rediriger export vers S3 clevercloud

Actuellement, les données AIS récupérées par l'API SPIRE sont stockées dans la table spire_ais_data toutes les 15 minutes. Ces données sont ensuite consommées par les traitements de l'ETL, mais ne sont jamais supprimées.
La table spire_ais_data a donc vocation à grossir jusqu'à l'infini et l'au-delà ...
Il faudrait donc créer un traitement d'export des données (par exemple toutes les semaines) pour extraire les données anciennes dans un fichier et purger la table. Le fichier généré pourrait ensuite être envoyé vers un stockage en ligne.
BONUS: créer un traitement permettant de ré-importer un fichier archivé.

[louwelgryn]

format d'archivage moins consommateur des données brutes de SPIRE.
On garde : 3 mois.

régler la base de données pour qu'elle revienne à 20g

[njouanin]

@marthevienne j'ai créé le traitement d'archivage. Pour l'instant l'archivage se fait au format parquet, il faudrait prévoir un stockage en ligne (S3 ?).
Le traitement prend en argument un nombre de jour (par ex: 180) et supprime toutes les données de la table spire_ais_data plus anciennes du nombre de jours par rapport à la date d'exécution.
Le code est sur la branche feature/archivage.

[marthevienne]

Pas de souci pour un stockage sur un S3, on peut faire ça sur clevercloud.

[marthevienne]

Hello, @njouanin as-tu déjà des fichiers à héberger sur un S3 ?
Est-ce que tu penses qu'il faille automatiser l'archivage ou je me mets un rappel régulier (tous les 2 mois) ?

[rv2931]

Si la PR #303 est intégrée je pense qu'il faudrait réfléchi à comment intégrer tout ou partie des données de task execution au mécanisme d'archivage
soit en les sauvegardant, principalement pour load_spire_data_from_api qui permet de tracer les coupures,
soit en les supprimant si on considère pouvoir les recréer a partir des données spire_ais_data+created_at et si created_at est bien conservée en l'état a l'archivage et restauration. Je craint que ça prenne un peu de place avec le temps avec une ligne par tâche toutes les 15min

[marthevienne]

La création des vessel_positions est trop permissive actuellement (plusieurs messages AIS pour un même timestamp, transfert de MMSI) : malheureusement, il n'y a pas suffisamment d'informations dans la table vessel_positions il va falloir repartir des données spire_ais_data pour recréer les positions.

=> On devrait mettre en place un système de restauration des données Spire archivées.