BDA -- Covid-19 database

Objectif

Ce projet se concentre sur les données hospitalières de la covid-19. Disponible sur le site du gouvernement.
Différents scripts python sont disponibles pour pouvoir utiliser facilement ces données.

Modélisation

Script

Les scripts utilisés sont en Python 3.9, ils utilisent un environnement Pipenv. Aussi, ils utilise psycopg2 pour gérer la base postgres plus facilement.

Pipenv

Installer pipenv dans votre environnement python global avec la commande :

$ python -m pip install pipenv

(Attention, il faut utiliser python3.9)

Pour initialiser l'environnement :

$ pipenv install

Pour entrer dans l'environnement, tapez la commande :

$ pipenv shell
(env) $

Pour exécuter des commandes sans entrer dans l'environnement, utilisez la commande :

$ pipenv run ...

Initialisation de la base

Pour initialiser la base de données avec le script init.py.

(env) $ python init.py

Téléchargement des données

Pour lancer le téléchargement des derniers fichiers, utiliser le script dowload.py.

(env) $ python download.py

Fichier Configuration

Les scripts précédents utilisent un fichier de configuration database.init par défaut.
Vous pouvez en spécifier un avec l'argument --config_file.

Clef

• postgres
  • dbname
    Nom de la base de données
  • user
    Nom de l'utilisateur
  • password (optionnel)
    Mot de passe de l'utilisateur
  • host (optionnel)
    Donne le host pour se connecter à la base postgresql
  • port (optionnel)
    Port de la base de données
  • verbose (défaut=False)
    Montre toutes les requettes éffectuées dans les scipts
• data
  • source
    Est la source des fichiers à insérer dans la base ainsi que la source des données lors de l'initialisation de la base
• download
  • insert (default=False)
    Si 'True' ça insert les données dans la base après le téléchargement.

Exemple

[postgresql]
host = localhost
dbname = bda
user = postgres
verbose = false

[data]
source = data_sources

[download]
insert = false

Tests

Des tests sont disponibles dans le dossier tests/, ils utilisent Pytest.
Pour ajouter Pytest, dans l'environnement il faut entrer la commande :

$ pipenv install --dev

Pensez à initialiser et à configurer une base de test, avec le fichier tests/database.ini. Et de l'initialiser avec:

(env) $ python init.py -c tests/database.ini

Pour lancer les tests ils suffit de taper

(env) $ pytest tests/

Template

Tout le projet utilise essentiellement SQL, on retrouve tous ces fichiers sql dans le dossier src/templates.

De même pour les tests dans tests/templates.

Extensions

Un dossier extension est disponible, il contient quelques fonctions mais qui ne sont pas encore utilisées dans cette version.

Documents

• Rapport préliminare
• Rapport final
• GIT gauffre

Authors

• Jéremy DAMOUR
• Djamel ALI

License & copyright

© Jéremy DAMOUR & Djamel ALI, Université de Paris

Licensed under the MIT License.