Job qui importe les données csv d'une S3 dans un base de donnée

[jdauphant]

Subscriptions :

• Les données de date doivent être importé dans un champs date
• Tester le merge sur des petites données (3 lignes)
• Tester le merge sur des grosses données (prod)
  • scale up la taille de la DB ? -> l'upsert met mois de 5 min, ca va comme ca.
• format de dates ?
• champs NOT NULL dans le schema
• timer le job pour voir si ca met plus que 24h
• enlever les espaces apres les virgules, qui apparaissent au debut des strings
• Mettre le cron une fois par jour à 6h du mat
• checker que les fichiers sur le filesystem scalingo sont supprimés à chaque run du cron job

Events :

• schema : memes champs que pour aggregate + type VARCHAR
• enlever les espaces apres les virgules, qui apparaissent au debut des strings
• enlever "(1234567 rows)" a la fin du fichier d'export
• decider du format final du csv : events,type,domain,hour,instance ou events,domain,hour,instance,type ?
  -> ca sera events,type,domain,hour,instance
• Tester le merge sur des petites données (3 lignes)
• Tester le merge sur des grosses données (prod)
• timer le job pour voir si ca met plus que 24h
  First insert in empty table, 3051210 rows : real 10m8.808s - surtout sur l'INSERT, le COPY dans la TEMPORARY TABLE prend dans les 5-10s.
  Second insert (adds 1 row) : real 0m48.927s. (??)

A la fin :

• Mettre sur la machine de prod

Plus tard :

• faire crasher le job quand le fichier n'est pas trouvé. Actuellement il télécharge un fichier vide et ne proteste pas. -> issue filed Import job should crash when S3 files are not found #10
• notifications en cas d'erreur : Import job : Notifications en cas d'erreur #8