Les données sont une ressource capitale pour les entreprises. Tous les processus de n’importe quelle organisation peuvent bénéficier d’une amélioration dans la collecte et de traitement des data afin d’améliorer leurs processus au quotidien. Apache Airflow est un planificateur open-source capable d’organiser vos workflow et de collecter leurs données.
Dans cet article, nous verrons les fonctionnalités majeures qui permettent à Airflow d’assurer la qualité de son flux de données.
Notre formation Airflow de 3 jours vous apprendra à concevoir, planifier et monitorer des workflow. Vous pourrez aussi créer vos propres plug-ins afin de vous adapter au maximum l’architecture big data de votre organisation. Cette formation couvre également les fonctions avancées pour rendre Airflow scalable.
L’équipe Ambient IT
Créer et implémenter des règles
Airflow offre de nombreuses options pour gérer et mettre en œuvre des workflow permettant un flux de données de qualité. Lors du développement d’une solution, il est possible d’utiliser SQL check ou des frameworks (comme great expectation) pour définir et tester vos règles métier. L’accès à des fournisseurs comme Snowflake ou dbt permet de tirer parti de leur cadre de qualité des données
Airflow s’intègre parfaitement à certains fournisseurs et met à disposition des opérateurs facilement utilisables. Il est compatible avec une gamme d’opérateurs SQLCheck pour effectuer des contrôles de qualité standard, tels que la conformité d’une colonne aux normes de données. Avec certains opérateurs, tels que SQLCheckOperator, vous pouvez élaborer des règles complexes en créant des scripts SQL personnalisés pour répondre à des cas d’utilisation complexes. De même, Airflow propose également GreatExpectationsOperator pour s’intégrer au framework.
Il est possible de créer un fichier de configuration contenant toutes les mesures de qualités pour l’ensemble des données. Il servira de source unique pour toutes les données et la création du pipeline et en facilitera la maintenance.
Vous pouvez également paramétrer le script afin de ne pas avoir à modifier le code si la configuration change. Il faut pour cela utiliser des modèles Jinja. Dans le cas de SQLColumnOperator, l’attribut column_mapping n’est pas templé. Vous devez créer des opérateurs personnalisés pour permettre le templating des champs.
Logging et monitoring
Le logging et le monitoring sont des éléments essentiels de tout pipeline, en particulier pour la qualité des données. Airflow offre un mécanisme de Callback pour mettre en œuvre le monitoring établie sur l’état de l’opérateur.
Déclencher des événements
La prochaine étape dans la gestion de la qualité des données est de pouvoir orchestrer des tâches en fonction des résultats des contrôles de qualité. Il est, par exemple, possible d’optimiser les tâches suivantes :
- Enregistrer une entrée dans la base de données pour conserver un historique de la qualité des données au fil du temps.
- Si le chargement des données enfreint une règle de gestion, envoyer une alerte à une boîte aux lettres pour en informer les propriétaires/responsables des données.
- Charger des données dans la plateforme de données si elles sont conformes aux règles de gestion.
Alertes et notifications
Si un chargement de données échoue à la vérification, il est possible de programmer des alertes afin que l’entreprise examine la situation et prenne les mesures nécessaires. Airflow s’intègre à plusieurs fournisseurs, tels que Slack, Telegram, etc., pour permettre la création d’alertes et la notification de messages en temps réel.
Configurer airflow
Configurer l’Airflow pour les notifications par email est une tâche très simple :
- Ajouter les configurations nécessaires dans airflow.cfg pour que l’opérateur de messagerie puisse les utiliser
- Ajouter une connexion dans l’interface utilisateur web de l’Airflow pour l’opérateur.
Configurer Sendgrid
La configuration de SendGrid est un processus simple en deux étapes :
- Tout d’abord, vous devez créer une clé API dans SendGrid avec SMTP Relay. Il est possible de le faire grâce au lien spécifique de Sendgrid
- Ajoutez ensuite des expéditeurs au compte. Les expéditeurs sont des adresses e-mail que l’opérateur de messagerie utilise pour envoyer des notifications aux utilisateurs professionnels
Construire des reports
Pour construire une plateforme de données, vous devez disposer d’une source de données fiable à l’échelle de l’organisation. Les outils associés à ces besoins étant souvent techniques, il peut être difficile pour les utilisateurs non qualifiés, notamment les directeurs, d’obtenir des mesures précises de la fiabilité des données.
Afin d’utiliser les données récoltées avec Airflow, il est essentiel de disposer d’outils de data visualisation afin que tous les collaborateurs puissent élaborer des stratégies et proposer des résultats exploitables.
Avec la base de données d’enregistrement, vous pouvez construire des tableaux de bord pour agréger les statistiques sur la qualité des données. Cela permet de les présenter de manière simple et claire à toutes les équipes concernées dans les workflow.
