Merge branch 'analyse-strates' into 'main'

Initialise un notebook de calcul des impacts sur les strates

See merge request !8

CHANGELOG.md

 # CHANGELOG
 
+# 4.0.0 [!8](https://git.leximpact.dev/leximpact/simulateur-dotations-communes/data-exploration/-/merge_requests/8)
+
+* Améliore et ajoute des calculs.
+* Périmètre métier : DGF des communes (DF, DSR, DSU, DCN), territoires communaux.
+* Période : 2021, 2024
+* Détails : 
+  * Corrige `dotations_2024/analyse_2024.ipynb`
+    * Met à jour `leximpact-dotations-back` de `^1.0.0` à `^2.0.0`
+      * Inclut la construction de simulation 2024 via `DotationsSimulation` de `leximpact_dotations_back`
+      * Inclut la mise à jour d'`openfisca-france-dotations-locales` à la v.`4.2.0` pour corriger une erreur de période de `dotations_2024/analyse_2024.ipynb`
+      * Ajoute un `.env` pour la configuration de `DotationsSimulation` 2024 et stabiliser le calcul des chemins de fichiers de données
+    * Ajoute les données INSEE des communes depuis 1943 `insee_commune_depuis_1943.csv` (code officiel géographique 2024) pour la `DCN`
+    * Met à jour `data/criteres_repartition_2024.csv` pour récupérer les valeurs de `DF` formatées en nombre
+  * Ajoute `dotations_2024/analyse_strates.ipynb`
+  * Ajoute les strates 2021 à `dotations_2021/simulation_2021.ipynb` et `utils/simulation_2021.py`
+
 ## 3.4.0 [!4](https://git.leximpact.dev/leximpact/simulateur-dotations-communes/data-exploration/-/merge_requests/4/)
 
 * Ajoute des calculs.
-* Périmètre métier : DGF des communes (DF, DSR, DSU, DCN), territoires communaux
+* Périmètre métier : DGF des communes (DF, DSR, DSU, DCN), territoires communaux.
 * Période : 2024
 * Détails :
   * Met à jour les données de critères 2024 `data/criteres_repartition_2024.csv`

data/data_sources.md

@@ -9,14 +9,17 @@ On traite de deux sujets :
 
 ## Exploration du calcul des dotations communales
 
-Deux types de fichiers de données sont présents : 
+Trois types de fichiers de données sont présents : 
 * Les fichiers des montants des différentes dotations accordés à chaque commune par année
 * Le fichier des critères de répartition utilisés pour le calcul des dotations. Ce fichier comprend aussi les montants des dotations
+* Le fichier des communes depuis 1943 de l'INSEE fournissant la date de création des communes à partir de cette année-là et utile à l'estimation de la Dotation en faveur des Communes Nouvelles (DCN)
 
 Les données ont été converties au format csv pour facilité leur manipulation dans le projet. 
 
 ### Téléchargement 
 
+#### Données DGCL
+
 Les données sont accessibles et téléchargeables via le [site](http://www.dotations-dgcl.interieur.gouv.fr/consultation/accueil.php) de la DGCL. 
 
 Pour la notification officielle des montants de dotations, la DGCL met à disposition un fichier par type de dotation et par année. 
@@ -36,6 +39,12 @@ Ils sont téléchargeables via cette [page](http://www.dotations-dgcl.interieur.
 Pour les critères de répartition, la DGCL met à disposition un fichier par année et par type de collectivité (commune, EPCI, département, région). 
 Ils sont téléchargeables via cette [page](http://www.dotations-dgcl.interieur.gouv.fr/consultation/criteres_repartition.php) en choississant l'année et le type de dotation à l'aide des menus déroulants.
 
+#### Données INSEE
+
+Pour l'initialisation du calcul sur la DCN on emploie les données de l'INSEE, communes depuis 1943 : [COG millésime 2024](https://www.insee.fr/fr/information/7766585) > `Communes depuis 1943` > Téléchargement du CSV.
+
+On obtient alors `v_commune_depuis_1943.csv` que l'on renomme en `insee_commune_depuis_1943.csv`
+
 ## Exploration de la liste des communes
 
 La liste des communes est issue de la première notification annuelle des dotations (fichiers publiés le 15 avril au plus tard).  

data_exploration/dotations_2021/simulation_2021.ipynb

 {
  "cells": [
   {
-   "cell_type": "code",
-   "execution_count": 1,
+   "cell_type": "markdown",
    "metadata": {},
-   "outputs": [
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "Loading /Users/sch/dev/gitruc/data-exploration/data/criteres_repartition_2020.csv\n"
-     ]
-    },
-    {
-     "name": "stderr",
-     "output_type": "stream",
-     "text": [
-      "/Users/sch/dev/gitruc/data-exploration/data_exploration/utils/utils.py:14: DtypeWarning: Columns (2,14,36,37,153,184,188,189,191) have mixed types. Specify dtype option on import or set low_memory=False.\n",
-      "  data = pandas.read_csv(path, decimal=\",\", dtype={code_insee: str})\n"
-     ]
-    },
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "Loading /Users/sch/dev/gitruc/data-exploration/data/criteres_repartition_2021.csv\n"
-     ]
-    },
-    {
-     "name": "stderr",
-     "output_type": "stream",
-     "text": [
-      "/Users/sch/dev/gitruc/data-exploration/data_exploration/utils/utils.py:14: DtypeWarning: Columns (2,14,36,37,38,153,186,190,191,192,193) have mixed types. Specify dtype option on import or set low_memory=False.\n",
-      "  data = pandas.read_csv(path, decimal=\",\", dtype={code_insee: str})\n"
-     ]
-    },
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "Loading /Users/sch/dev/gitruc/data-exploration/data/criteres_repartition_2022.csv\n"
-     ]
-    },
-    {
-     "name": "stderr",
-     "output_type": "stream",
-     "text": [
-      "/Users/sch/dev/gitruc/data-exploration/data_exploration/utils/utils.py:14: DtypeWarning: Columns (2,14,43,125,155,157,158,159,160,162,175,176,196,198,200,201,202,203) have mixed types. Specify dtype option on import or set low_memory=False.\n",
-      "  data = pandas.read_csv(path, decimal=\",\", dtype={code_insee: str})\n"
-     ]
-    },
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "Loading /Users/sch/dev/gitruc/data-exploration/data/criteres_repartition_2022.csv\n"
-     ]
-    },
-    {
-     "name": "stderr",
-     "output_type": "stream",
-     "text": [
-      "/Users/sch/dev/gitruc/data-exploration/data_exploration/utils/utils.py:14: DtypeWarning: Columns (2,14,43,125,155,157,158,159,160,162,175,176,196,198,200,201,202,203) have mixed types. Specify dtype option on import or set low_memory=False.\n",
-      "  data = pandas.read_csv(path, decimal=\",\", dtype={code_insee: str})\n"
-     ]
-    },
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "2022\n",
-      "Loading /Users/sch/dev/gitruc/data-exploration/data/criteres_repartition_2021.csv\n"
-     ]
-    },
-    {
-     "name": "stderr",
-     "output_type": "stream",
-     "text": [
-      "/Users/sch/dev/gitruc/data-exploration/data_exploration/utils/utils.py:14: DtypeWarning: Columns (2,14,36,37,38,153,186,190,191,192,193) have mixed types. Specify dtype option on import or set low_memory=False.\n",
-      "  data = pandas.read_csv(path, decimal=\",\", dtype={code_insee: str})\n"
-     ]
-    }
-   ],
    "source": [
-    "from data_exploration.utils.simulation_2021 import dotations_criteres_2021 as dgcl_data_2021\n"
+    "# Simulation 2021\n",
+    "\n",
+    "## Initialisation de la simulation (à compléter)"
    ]
   },
   {
    "cell_type": "code",
-   "execution_count": 2,
+   "execution_count": 8,
    "metadata": {},
    "outputs": [
     {
@@ -105,12 +28,12 @@
     "    CountryTaxBenefitSystem as DotationsLocales,\n",
     ")\n",
     "\n",
+    "from data_exploration.utils.simulation_2021 import dotations_criteres_2021 as dgcl_data_2021\n",
     "from data_exploration.utils.new_load_dgcl_criteres_data import adapt_dgcl_data, insert_dsr_garanties_communes_nouvelles\n",
     "from data_exploration.utils.load_dgcl_criteres_data import insert_dsu_garanties\n",
     "from data_exploration.utils.lecture_data import GARANTIES_DSU_PATH\n",
     "\n",
     "\n",
-    "\n",
     "CURRENT_YEAR = 2021\n",
     "tbs = DotationsLocales()\n",
     "\n",
@@ -132,17 +55,163 @@
     "    print(\"Erreur inattendue dans les données adaptées : \", e)\n"
    ]
   },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## Strates démographiques en 2021"
+   ]
+  },
   {
    "cell_type": "code",
-   "execution_count": null,
+   "execution_count": 9,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/html": [
+       "<div>\n",
+       "<style scoped>\n",
+       "    .dataframe tbody tr th:only-of-type {\n",
+       "        vertical-align: middle;\n",
+       "    }\n",
+       "\n",
+       "    .dataframe tbody tr th {\n",
+       "        vertical-align: top;\n",
+       "    }\n",
+       "\n",
+       "    .dataframe thead th {\n",
+       "        text-align: right;\n",
+       "    }\n",
+       "</style>\n",
+       "<table border=\"1\" class=\"dataframe\">\n",
+       "  <thead>\n",
+       "    <tr style=\"text-align: right;\">\n",
+       "      <th></th>\n",
+       "      <th>code_insee</th>\n",
+       "      <th>nom</th>\n",
+       "      <th>population_dgf</th>\n",
+       "      <th>strate_demographique</th>\n",
+       "    </tr>\n",
+       "  </thead>\n",
+       "  <tbody>\n",
+       "    <tr>\n",
+       "      <th>0</th>\n",
+       "      <td>01001</td>\n",
+       "      <td>ABERGEMENT-CLEMENCIAT</td>\n",
+       "      <td>805</td>\n",
+       "      <td>2</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>1</th>\n",
+       "      <td>01002</td>\n",
+       "      <td>ABERGEMENT-DE-VAREY</td>\n",
+       "      <td>307</td>\n",
+       "      <td>1</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>2</th>\n",
+       "      <td>01004</td>\n",
+       "      <td>AMBERIEU-EN-BUGEY</td>\n",
+       "      <td>14771</td>\n",
+       "      <td>8</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>3</th>\n",
+       "      <td>01005</td>\n",
+       "      <td>AMBERIEUX-EN-DOMBES</td>\n",
+       "      <td>1757</td>\n",
+       "      <td>3</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>4</th>\n",
+       "      <td>01006</td>\n",
+       "      <td>AMBLEON</td>\n",
+       "      <td>130</td>\n",
+       "      <td>1</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>...</th>\n",
+       "      <td>...</td>\n",
+       "      <td>...</td>\n",
+       "      <td>...</td>\n",
+       "      <td>...</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>35046</th>\n",
+       "      <td>98829</td>\n",
+       "      <td>THIO</td>\n",
+       "      <td>3580</td>\n",
+       "      <td>5</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>35047</th>\n",
+       "      <td>98830</td>\n",
+       "      <td>TOUHO</td>\n",
+       "      <td>3610</td>\n",
+       "      <td>5</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>35048</th>\n",
+       "      <td>98831</td>\n",
+       "      <td>VOH</td>\n",
+       "      <td>3750</td>\n",
+       "      <td>5</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>35049</th>\n",
+       "      <td>98832</td>\n",
+       "      <td>YATE</td>\n",
+       "      <td>2756</td>\n",
+       "      <td>4</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>35050</th>\n",
+       "      <td>98833</td>\n",
+       "      <td>KOUAOUA</td>\n",
+       "      <td>1869</td>\n",
+       "      <td>3</td>\n",
+       "    </tr>\n",
+       "  </tbody>\n",
+       "</table>\n",
+       "<p>35051 rows × 4 columns</p>\n",
+       "</div>"
+      ],
+      "text/plain": [
+       "      code_insee                    nom  population_dgf  strate_demographique\n",
+       "0          01001  ABERGEMENT-CLEMENCIAT             805                     2\n",
+       "1          01002    ABERGEMENT-DE-VAREY             307                     1\n",
+       "2          01004      AMBERIEU-EN-BUGEY           14771                     8\n",
+       "3          01005    AMBERIEUX-EN-DOMBES            1757                     3\n",
+       "4          01006                AMBLEON             130                     1\n",
+       "...          ...                    ...             ...                   ...\n",
+       "35046      98829                   THIO            3580                     5\n",
+       "35047      98830                  TOUHO            3610                     5\n",
+       "35048      98831                    VOH            3750                     5\n",
+       "35049      98832                   YATE            2756                     4\n",
+       "35050      98833                KOUAOUA            1869                     3\n",
+       "\n",
+       "[35051 rows x 4 columns]"
+      ]
+     },
+     "execution_count": 9,
      "metadata": {},
-   "outputs": [],
-   "source": []
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "from data_exploration.utils.simulation_2021 import get_simulation_2021_strates_only, calculate_data_strates_2021\n",
+    "\n",
+    "simulation_2021_strates = get_simulation_2021_strates_only()\n",
+    "data_strates_2021 = calculate_data_strates_2021(simulation_2021_strates)\n",
+    "\n",
+    "data_strates_2021\n"
+   ]
   }
  ],
  "metadata": {
   "kernelspec": {
-   "display_name": "Python 3 (ipykernel)",
+   "display_name": "data-exploration-VsNz68cn-py3.11",
    "language": "python",
    "name": "python3"
   },
@@ -156,12 +225,7 @@
    "name": "python",
    "nbconvert_exporter": "python",
    "pygments_lexer": "ipython3",
-   "version": "3.11.4"
-  },
-  "vscode": {
-   "interpreter": {
-    "hash": "041cc68ea58753cf4e0dc15129b7df12556782f86058d99e9295f8432788aee6"
-   }
+   "version": "3.11.9"
   }
  },
  "nbformat": 4,

data_exploration/dotations_2024/.env

+# read by leximpact_dotations_back/load_configuration.py
+
+# default logger level: INFO
+# possible values: https://docs.python.org/3/library/logging.html#logging-levels
+LOGGING_LEVEL=INFO
+
+ORIGINS=[https://leximpact.an.fr, http://localhost:5173, http://localhost:8000, http://localhost]
+
+DATA_DIRECTORY="./../../data"
+
+YEAR_PERIOD=2024
+
+NEXT_YEAR_PLF=""

data_exploration/utils/simulation_2021.py

+from pandas import DataFrame
+
+from openfisca_core.simulation_builder import SimulationBuilder
+from openfisca_france_dotations_locales import (
+    CountryTaxBenefitSystem as OpenFiscaFranceDotationsLocales,
+)
+
 from data_exploration.utils.lecture_data import CRITERES_2021_PATH
 from data_exploration.utils.new_load_dgcl_criteres_data import load_dgcl_file
 
+
 dotations_criteres_2021 = load_dgcl_file(CRITERES_2021_PATH)
+
+
+def get_simulation_2021_strates_only(data_criteres_2021 = dotations_criteres_2021):
+    model = OpenFiscaFranceDotationsLocales()
+    
+    sb = SimulationBuilder()
+    sb.create_entities(model)
+    sb.declare_person_entity("commune", data_criteres_2021.index)
+
+    etat_instance = sb.declare_entity("etat", ["france"])
+    nombre_communes = len(data_criteres_2021.index)
+    etat_communes = ["france"] * nombre_communes
+    communes_etats_roles = [None] * nombre_communes  # no roles in our model
+    sb.join_with_persons(etat_instance, etat_communes, communes_etats_roles)
+
+    simulation_2021 = sb.build(model)
+
+    simulation_2021.set_input('code_insee', "2021-01", data_criteres_2021['Informations générales - Code INSEE de la commune'])
+    simulation_2021.set_input('nom', "2021-01", data_criteres_2021['Informations générales - Nom de la commune'])
+    simulation_2021.set_input('population_dgf', 2021, data_criteres_2021["Informations générales - Population DGF de l'année N"])   
+
+    return simulation_2021
+
+
+def calculate_data_strates_2021(simulation_2021):
+    strates_communes_2021 = {
+            'code_insee': simulation_2021.calculate('code_insee', "2021-01"),
+            'nom': simulation_2021.calculate('nom', "2021-01"),
+            'population_dgf': simulation_2021.calculate('population_dgf', 2021),
+            'strate_demographique': simulation_2021.calculate('strate_demographique', 2021)
+        }
+
+    data_strates_2021 = DataFrame(strates_communes_2021)
+    return data_strates_2021

data_exploration/utils/simulation_2024.py

 from os import getcwd
 from os.path import join
 
-from openfisca_france_dotations_locales import CountryTaxBenefitSystem as OpenFiscaFranceDotationsLocales
+from openfisca_france_dotations_locales import (
+    CountryTaxBenefitSystem as OpenFiscaFranceDotationsLocales,
+)
 
-from leximpact_dotations_back.calculate import create_simulation_with_data
+from leximpact_dotations_back.data_building.build_dotations_data import get_insee_communes_1943_file_path, get_previous_year_data, load_criteres, load_insee_communes_history
 from leximpact_dotations_back.data_building.adapt_dotations_criteres import adapt_criteres
-from leximpact_dotations_back.data_building.build_dotations_data import get_previous_year_data, load_criteres
-
+from leximpact_dotations_back.computing.simulation_2024 import build_simulation_2024
 
 CURRENT_YEAR = 2024
+print(getcwd())
 DATA_DIRECTORY = join(getcwd(), "..", "..", "data")
+MODEL_BASE = OpenFiscaFranceDotationsLocales()
 
 
 def buid_data_2023_for_2024(data_directory = DATA_DIRECTORY, year = CURRENT_YEAR):
@@ -24,18 +27,17 @@ def build_data_2024(data_directory = DATA_DIRECTORY, year = CURRENT_YEAR):
     
     # hypothèse : le fichier de critères est nommé 'criteres_repartition_YYYY.csv'
     # où YYYY est défini par la variable 'year'
-    data_criteres = load_criteres(data_directory, year)
-    data = adapt_criteres(data_criteres, year)
-    return data
+    data_criteres = load_criteres(year, data_directory)
 
+    insee_communes_1943_2024_file_path = get_insee_communes_1943_file_path(data_directory, year)
+    communes_history_2024 = load_insee_communes_history(insee_communes_1943_2024_file_path)
 
-def create_simulation_2024(data, data_previous_year, year=CURRENT_YEAR):
-    model = OpenFiscaFranceDotationsLocales()
+    data = adapt_criteres(year, data_criteres, communes_history_2024)
+    return data
 
-    data_criteres = load_criteres(DATA_DIRECTORY, year)
-    data = adapt_criteres(data_criteres, year)
 
-    return create_simulation_with_data(model, year, data, data_previous_year)
+def create_simulation_2024(data_adapted_criteres_2024, data_selection_2023, year=CURRENT_YEAR, model=MODEL_BASE):
+    return build_simulation_2024(year, model, data_adapted_criteres_2024, data_selection_2023)
 
 
 def calculate_dotations(simulation, dotations_criteres_data, year = CURRENT_YEAR):

pyproject.toml

 [tool.poetry]
 name = "data-exploration"
-version = "3.4.0"
+version = "4.0.0"
 description = "Les outils d'analyse des données en amont de dotations.incubateur.anct.gouv.fr"
 authors = ["Equipe Dotations Locales <contact-dotations-locales@anct.gouv.fr>"]
 license = "AGPL-3.0-or-later"
@@ -20,9 +20,10 @@ black = ">= 24.0.0, < 25.0.0"
 optional = true
 
 [tool.poetry.group.from2024.dependencies]
-leximpact-dotations-back = "^1.0.0"
+leximpact-dotations-back = "^2.0.0"
 # ou remplacer par ce qui suit pour installer une branche, en indiquant son nom à la place de "ma-branche-preferee" :
 # leximpact-dotations-back = { git = "https://git.leximpact.dev/leximpact/simulateur-dotations-communes/leximpact-dotations-back.git", branch = "ma-branche-preferee" }
+matplotlib = "^3.10.1"
 
 [build-system]
 requires = ["poetry-core>=1.0.0"]