Skip to content

Utilise le fichier CSV des données nettoyées de critères 2024

sandcha requested to merge call-data-2024 into main

Cher reviewer,

En bref, cette MR part du CSV DGCL nettoyé des colonnes et lignes vides pour s'attaquer au typage des valeurs qui nous intéressent. On obtient un DataFrame en mémoire qu'on refait passer dans les pipelines de manipulation des données existantes (pipeline LexImpact 2021/2022 mise à jour par Dotations Locales ANCT 2022/2023).
On corrige les types à chaque fois qu'une erreur est levée par build_data(...). On crée des tests unitaires minimaux pour exécuter ces portions de code.

Et on commence à dessiner l'architecture avec des sous-modules de mapping colonnes data/variables openfisca et de data_building pour distinguer ce qui est de la préparation des données de ce qui sera l'API web de calcul.

Mais on ne modifie que très peu le code historique rangé dans ces sous-modules. Pour ne pas dédier trop de temps à un code ancien qu'on sait devoir restructurer aux prochaines étapes, il est éventuellement possible de prendre pour admis le code transmis dans ce commit et de se concentrer sur les changements qui lui sont apportés ensuite. 🤔

On cherche également, petit à petit à structurer le code passé et à venir de manière à ce que la configuration annuelle de l'application soit simplifiée.


  • Ajout d'une fonctionnalité.
  • Période : 2024 (compatible 2021 à 2023)
  • Détails :
    • Construit le DataFrame de simulation 2024 sur la base des traitements de données réalisés de 2021 à 2023 :
      • Corrige le format des données data/criteres_repartition_2024.csv via data/raw/data_cleanup.py:clean_data_values
      • Définit le mapping données/openfisca 2024 dans leximpact_dotations_back/mapping/criteres_dgcl_2024.py
      • Ajoute le sous-module leximpact_dotations_back.data_building avec les algorithmes sur données des années passées
      • Modifie a minima les algorithmes passés pour permettre l'exécution sans crash et ragroupe les contantes comparables par fichier
    • Déplace le mapping 2022 dans les tests
    • Initie des tests de mapping et data_building 2024
    • Définit le logger de main.py comme logger par défaut du module leximpact_dotations_back
    • Limite la version de Python maximale à 3.11 en cohérence avec la limite openfisca-core
Edited by sandcha

Merge request reports