Permettre un suivi du fonctionnement
DataCirco est un ensemble de script bash. Il faut un moyen plus pratique de savoir:
- Si tous les téléchargements ont fonctionnés.
- Si tous les chargements dans la base ont fonctionnés.
- Si tous les PDF ont bien été générés.
Idéalement pouvoir relancer seulement certains imports.
Plusieurs possibilités :
- Utiliser la CI GitLab
- Utiliser Apache AirFlow qui est un ordonnanceur répandu.
- Utiliser Apache NiFi qui est dédié à ce type de tâches.
J'ai une préférence pour cette dernière solution.