Formation Apache Airflow avancé

Présentation

Notre formation Apache Airflow avancé vous permettra de maîtriser l’un des outils leader du MLOps. Ainsi, vous pourrez gérer efficacement vos workflows data.

Notre cours débutera en mettant l’emphase sur la génération dynamique de DAGs et ses actions associées. Vous apprendrez les fondamentaux du scheduling et les techniques avancées de templating avec Jinja.

Nous poursuivrons avec l’apprentissage des opérateurs personnalisés, la manipulation des hooks et l’intégration des APIs. Les divers opérateurs tels PythonVirtualenvOperator ou KubernetesPodOperator n’auront plus de secret pour vous.

Enfin, nous terminerons par la présentation d’études de cas, du ModelOps ainsi que les bonnes pratiques à connaître.

Comme pour toutes nos formations, nous vous enseignerons la dernière version stable : Apache Airflow 2.8.

Objectifs

• Créer des DAGs dynamiques en utilisant des configurations externes
• Personnaliser les opérateurs et les capteurs pour des besoins spécifiques
• Intégrer des tâches avec des environnements externes tels que PythonVirtualenv, Docker, et Kubernetes
• Appliquer les meilleures pratiques en ModelOps et en gestion des ressources pour l’ingénierie des données
• Comprendre les limitations d’Airflow

Public visé

• Ingénieur Big data
• Développeur
• Tech Lead
• Architecte Technique
• Data engineer
• MLOps
• Data Scientist

Pré-requis

• Connaissance du langage Python
• 2 ans d’expérience minimum en data science
• Compétences de base sur Airflow
• De préférence, avoir suivi notre formation Airflow

Pré-requis logiciel

• La dernière version de Docker installée
• La dernière version de Docker Compose installée
• La dernière version de Python installée
• La dernière version d’Airflow installée
• Minimum 8GO de RAM et un SSD