Formation Apache Airflow
| 1990€ HT / personne |
| 3 jours (21 heures) |
Présentation
Notre formation Apache Airflow vous permettra de superviser, monitorer et planifier des centaines de pipelines. Ecrit en Python, Airflow est une alternative aux outils de workflow utilisant des langages descriptif ( XML , JSON , YAML … ) difficile à lire et à écrire.
À la fin de cette formation, vous pourrez rendre vos workflows dynamiques, automatisés et scalables. Vous apprendrez également à créer vos propres plug-ins, opérateurs et exécuteurs afin de coller au mieux à votre architecture big data.
Vous découvrirez les différents concepts qui composent Airflow, qu’est-ce qu’un DAG, une tâche, un exécuteur, un opérateur, etc. Nous ferons un tour de l’interface utilisateur ainsi que de l’interface en ligne de commande afin de très rapidement développer notre premier workflow interagissant avec différents systèmes de données.
De plus, vous apprendrez également les concepts avancés. Nous verrons avec de la mise en pratique et à travers de multiples exemples : comment rendre Airflow scalable à travers l’utilisation de différents Executors. Un programme qui vous permettra d’orchestrer vos pipelines de données de manière simple et robuste.
Comme dans toutes nos formations, nous utiliserons la dernière version stable des logiciels Apache Airflow 2.10.
Objectifs
- Découvrir les fonctionnalités d’Apache Airflow
- Savoir concevoir, planifier et monitorer ses workflows
- Connaître le fonctionnement interne de Airflow
- Savoir comment scaler Airflow afin de gérer un nombre conséquent de pipelines
- Connaître les best practices et limitations de Airflow
Public visé
- Ingénieur Big data
- Développeur
- Tech Lead
- Architecte Technique
Pré-requis
- Connaissance en langage Python
- Tester Mes Connaissances
Pré-requis logiciel
- La dernière version de Docker installée
- La dernière version de Docker Compose installée
- La dernière version de Python installée
- La dernière version d’Airflow installée
- Minimum 8GO de RAM et un SSD
Recommandations de lecture avant et après la formation
- Un article informatif et bien structuré sur les bonnes pratiques à utiliser sur Apache Airflow
- Un tutoriel pour automatiser vos pipelines de données, idéal pour renforcer votre productivité !
- 5 minutes de lecture pour comprendre les tests sur Apache Airflow
- Un article génial pour utiliser Airflow de la bonne manière et éviter les erreurs les plus fréquentes
Programme de notre Formation Apache Airflow
Introduction
- Les objectifs
- Organisation de la formation
- Qui suis-je ?
- Présentation de l’environnement de développement (installation des outils)
Découverte de Apache Airflow
- Pourquoi l’utiliser et pour quels besoins
- Les concurrents de Airflow
- L’architecture de Airflow
- Comprendre le fonctionnement de Airflow et comment les workflows sont planifiés
- [Pratique] Installer Airflow
- [Pratique] Découverte de l’interface utilisateur
- [Pratique] Découverte de la CLI et HTTP REST API
- Quiz
Coder son premier Workflow avec Airflow
- Définir ce qu’est un DAG (Directed Acyclic Graph)
- [Pratique] Coder notre premier DAG
- Les différent type d’operators
- [Pratique] Ajout des trois principaux opérateurs dans notre DAG
- Les dépendances entre opérateurs et la bitshift composition
- [Pratique] Définition de l’ordre d’exécution des tâches dans notre DAG
- Comment le planificateur de Airflow fonctionne précisément ?
- Définition d’un Workflow
- Quiz
Exécuteurs et leurs backend
- Les différents exécuteurs et backend
- Leurs avantages et faiblesses
- [Pratique] Configurer un LocalExcutor et run un DAG
- [Pratique] Configurer un CeleryExecutor et run un DAG
- Quiz
Les concepts dynamiques de Airflow
- Minimiser les patterns répétitifs d’un DAG avec les SubDags
- [Pratique] Simplifier un DAG avec les SubDags
- Les XCOMS
- [Pratique] Échanger des données en utilisant les XCOMS
- Comment exécuter différentes tâches en fonction de critères dynamiques
- [Pratique] Créer nos premières tâches conditionnelles
- Contrôler les tâches contenu dans un DAG avec les SLAs
- [Pratique] Définition des SLAs pour nos tâches
- Les airflow variables
- [Pratique] utiliser les variables depuis notre DAG
- Les airflow connections
- [Pratique] utiliser les connections depuis notre DAG
- Jinja Templating, Macros et Variables
- [Pratique] Ajouter des données au run time avec les Macros et les templates
- Les Pools
- Quiz
Les Airflow providers pour interagir avec le reste du monde
- Les providers existant et leur installation
- Savoir choisir les opérateurs à utiliser en fonction des executors et du scaling voulu
- Personnaliser un opérateur existant
- [Pratique] Installer un provider et en personnaliser un opérateur
- Quiz
Administrer Airflow: Sécurité, RBAC, Metriques et Logging
- Sécuriser Airflow
- La création d’utilisateurs et l’authentification
- [Pratique] Revue des différents moyens d’authentification
- Découverte du RBAC (Role-based Access Control)
- [Pratique] Création de différents utilisateurs et rôles
- Découverte du système de log et sa configuration
- [Pratique] Configuration des logs
- [Pratique] Monitorer Airflow et metrics à surveiller
- Quiz
MODULE COMPLÉMENTAIRE (+1 JOUR) : APACHE AIRFLOW AVANCÉ
Création d’un plugin Airflow pour intéragir avec ELASTICSEARCH et POSTGRESQL
- Ajouter des fonctionnalités dans Apache Airflow
- [Pratique] Créer un Hook pour interagir avec Elasticsearch
- [Pratique] Créer un TransferOperator pour transférer des données depuis PostgreSQL vers ElasticSearch
- [Pratique] Ajouter une vue à l’interface utilisateur de Airflow
- Quiz
Administration de Airflow Avancé
- [Pratique] Utilisation de librairie Crypto pour sécuriser Airflow
- [Pratique] Utilisation de InfluxDB et Telegraph pour le monitoring the Airflow
- Quiz
Pour aller plus loin
Formation Intelligence Artificielle
Formation TensorFlow
Formation Kafka
Autour du sujet
Langues et Lieux disponibles
Langues
- Français
- Anglais / English
Lieux
-
France entière
- Paris
- Lille
- Reims
- Lyon
- Toulouse
- Bordeaux
- Montpellier
- Nice
- Sophia Antipolis
- Marseille
- Aix-en-Provence
- Nantes
- Rennes
- Strasbourg
- Grenoble
- Dijon
- Tours
- Saint-Étienne
- Toulon
- Angers
-
Belgique
- Bruxelles
- Liège
-
Suisse
- Genève
- Zurich
- Lausanne
-
Luxembourg
Nos Formateurs Référents
Marc
Passionné et enthousiaste, j’ai à cœur de partager mes connaissances au plus grand nombre et d’échanger sur des technologies plus ou moins connues qui nous rassemblent.
Je suis très axé sur la pratique et je suis persuadé que c’est le meilleur moyen d’apprendre et d’acquérir de nouvelles connaissances.
Témoignages
Je recommande la formation
Afficher tous les témoignages
Je recommande la formation
Les + : Le rythme est bien amené entre la théorie et les exercices pratiques.
Les – : RAS
Je recommande la formation
Les + : Super formateur
Les – : RAS
Je recommande la formation
Les + : explications données sur les cas airflow
En synthèse : bon formateur
Les + : pédagogie du formateur, bon écoute, formation adaptée à notre contexte
Les – : des dages templates pour faciliter les TP
Les + : Réponses efficaces aux différentes questions.
Chaque module est réalisé avec des cas pratiques.
Explications ciblés aux besoins.
En synthèse : Merci au Formateur qui prenait le temps de nous répondre à toute question, et à la recherche des bonnes solutions pour nos différents cas.
Les + : le formateur connait très bien son sujet, il est très pégagogue et à écoute de nos questions
En synthèse : super formation. j’ai compris le fonctionnement d’airflow.
certes je ne suis pas capable de créer un dag aujourd’hui car il me manque des connaissances au niveau Python.
Mais Airflow est beaucoup moins flou qu’avant cette formation
Les + : Les points abordés dans cette formation répondent bien à nos exigences projet, en conformité avec les normes que nous définirons à l’avenir.
Les – : Les versions v2 et v3 du produit, en ce qui concerne le RBAC, ne sont pas conformes à nos exigences.
En synthèse : Je tenais à exprimer ma sincère gratitude pour le professeur qui a fait un bon travail
Les + : les connaissances, la pédagogie et la dispo du formateur
Les + : La connaissance de Brendan sur le sujet, malgré une release 3.0.0 tombée durant la formation (avant c’était du 2.x.x)
L’accompagnement, son implication, les conseils
Les – : Il est difficile d’avoir le temps de copier les exemples, ou les faire en “live”.
Nous n’avons pas le temps d’écrire tout le code a priori quand nos espaces de travail ne font pas de complétion etc etc .
Suggestion :
Il faut peut être rajouter une 1/2 journée, la première matinée servant à l’arrivé, les présentations, et un environnement local (sur chaque personne formée) fonctionnel.
Je souhaite suivre : j’ai des idées mais cela n’est pas encore precis…. mais peut etre du big data, ou de la secu it
En synthèse : Bravo et merci a Brendan
Noter la formation
| 1990€ HT / personne |
| 3 jours (21 heures) |
UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?
Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.
ILS SE SONT FORMÉS CHEZ NOUS
