Utilise le fichier CSV des données nettoyées de critères 2024
Cher reviewer,
En bref, cette MR part du CSV DGCL nettoyé des colonnes et lignes vides pour s'attaquer au typage des valeurs qui nous intéressent. On obtient un DataFrame en mémoire qu'on refait passer dans les pipelines de manipulation des données existantes (pipeline LexImpact 2021/2022 mise à jour par Dotations Locales ANCT 2022/2023).
On corrige les types à chaque fois qu'une erreur est levée par build_data(...)
. On crée des tests unitaires minimaux pour exécuter ces portions de code.
Et on commence à dessiner l'architecture avec des sous-modules de mapping
colonnes data/variables openfisca et de data_building
pour distinguer ce qui est de la préparation des données de ce qui sera l'API web de calcul.
Mais on ne modifie que très peu le code historique rangé dans ces sous-modules. Pour ne pas dédier trop de temps à un code ancien qu'on sait devoir restructurer aux prochaines étapes, il est éventuellement possible de prendre pour admis le code transmis dans ce commit et de se concentrer sur les changements qui lui sont apportés ensuite.
On cherche également, petit à petit à structurer le code passé et à venir de manière à ce que la configuration annuelle de l'application soit simplifiée.
- Ajout d'une fonctionnalité.
- Période : 2024 (compatible 2021 à 2023)
- Détails :
- Construit le DataFrame de simulation 2024 sur la base des traitements de données réalisés de 2021 à 2023 :
- Corrige le format des données
data/criteres_repartition_2024.csv
viadata/raw/data_cleanup.py:clean_data_values
- Définit le mapping données/openfisca 2024 dans
leximpact_dotations_back/mapping/criteres_dgcl_2024.py
- Ajoute le sous-module
leximpact_dotations_back.data_building
avec les algorithmes sur données des années passées - Modifie a minima les algorithmes passés pour permettre l'exécution sans crash et ragroupe les contantes comparables par fichier
- Corrige le format des données
- Déplace le mapping 2022 dans les tests
- Initie des tests de
mapping
etdata_building
2024 - Définit le logger de
main.py
comme logger par défaut du moduleleximpact_dotations_back
- Limite la version de Python maximale à
3.11
en cohérence avec la limiteopenfisca-core
- Construit le DataFrame de simulation 2024 sur la base des traitements de données réalisés de 2021 à 2023 :