Formation Astronomer :la plateforme SaaS d’Airflow

PROGRAMME DE NOTRE FORMATION ASTRONOMER

INTRODUCTION À ASTRONOMER ET SES INTERFACES

• Présentation générale d’Astronomer
• Navigation dans l’IDE
• Création de votre premier pipeline de données
• Gestion d’une base de données

GESTION DU CODE ET DÉPLOIEMENT SUR ASTRO

• Intégration continue (CI) et déploiement continu (CD)
• Systèmes de gestion de version (Github)
• Déploiement d’une application sur la plateforme Astro
• Pratique de déploiement de bout en bout

SÉCURITÉ ET MOUVEMENT DES DONNÉES DANS L’IDE

• Sécurité et permissions
• Différences entre SDK, IDE et la création classique de pipelines
• Meilleures pratiques pour la sécurité des données

INTERAGIR AVEC LES API EXTERNES

• Connexions à des services externes (SWAPI, RestfulBooker)
• HttpHook et HttpOperator pour les interactions serveur
• Exercices pratiques sur les requêtes API et le filtrage des réponses web

UTILISATION DES CAPTEURS ET DES OPÉRATIONS CRUD

• Capteurs pour surveiller les statuts de réponse HTTP
• Mise en place de capteurs
• Alertes sur les réponses serveur
• Opérations CRUD

GESTION ET ORGANISATION DES DÉPLOIEMENTS

• Workspaces
• Utilisation des ressources AU
• Scheduler et scalabilité automatique

DÉVELOPPEMENT ET DÉPLOIEMENT AVEC ASTRO

• Gestion des connexions
• Variables d’environnement
• KubernetesPodOperator
• Pratique de la mise à niveau d’Astro Runtime
• Utilisation de l’API REST d’Airflow

GESTION DES SECRETS

• Gestionnaires de secrets (AWS Secrets Manager, Hashicorp Vault)
• Bonnes pratiques pour la gestion des secrets 

OBSERVABILITÉ ET ALERTES

• Surveillance et interprétation des logs
• Configuration des alertes
• Gestion des incidents de santé du déploiement
• Data lineage

ADMINISTRATION ET MEILLEURES PRATIQUES

• SSO et SCIM
• Configuration des permissions utilisateur
• Gestion des domaines

INTÉGRATION AVEC D’AUTRES OUTILS DE DONNÉES ET GESTION DES COÛTS

• Vue d’ensemble de l’intégration avec des outils d’automatisation et de CI/CD
• Utilisation de modèles de CI/CD
• Conseils pour optimiser les coûts et avoir une vue d’ensemble de la facturation