Formation DataProc

PROGRAMME DE NOTRE FORMATION DATAPROC

INTRODUCTION À DATAPROC ET AU BIG DATA

• Présentation des concepts de big data et des solutions
• Définition de Cloud Dataproc et de ses avantages par rapport aux solutions traditionnelles
• Méthodes d’accès à Dataproc
• Navigation dans le tableau de bord
• Création de projets et gestion des ressources dans Dataproc

CRÉATION ET GESTION DES CLUSTERS

• Processus détaillé de création d’un cluster Dataproc
• Suppression et gestion du cycle de vie d’un cluster
• Rôles des nœuds master et worker 
• Personnalisation des clusters avec des types de machines et des workers préemptibles
• Gestion des identités et des accès, permissions et rôles

INTÉGRATION AVEC D’AUTRES SERVICES GCP

• Utilisation avec BigQuery pour l’analyse interactive de données
• Stockage et gestion des données avec Cloud Storage
• Intégration avec les services de bases de données Cloud SQL et Firestore
• Automatisation des workflows avec les modèles de workflow Dataproc

TRAITEMENT DES DONNÉES

• Exécution de traitements par lots (batch) et en temps réel (streaming)
• Écriture, soumission et gestion des jobs Hadoop et Spark
• Surveillance, journalisation et débogage des jobs et des clusters
• Autoscaling et optimisation des performances des clusters

INFRASTRUCTURE AS CODE AVEC TERRAFORM SUR GCP

• Introduction à l’Infrastructure as Code et aux avantages de Terraform
• Gestion de l’infrastructure GCP de manière déclarative avec Terraform
• Écriture et organisation de code Terraform pour les ressources Dataproc
• Bonnes pratiques pour la modularité et la réutilisabilité du code Terraform

FONCTIONNALITÉS AVANCÉES ET OPTIMISATION

• Personnalisation des clusters avec des actions d’initialisation et des images personnalisées
• Techniques d’optimisation de performance pour le traitements de données 
• Stratégies de haute disponibilité et de tolérance aux pannes pour les clusters
• Conseils pour optimiser les coûts des clusters à long terme