Formation Google Cloud Dataform

PROGRAMME DE NOTRE FORMATION DATAFORM

INTRODUCTION À DATAFORM ET GESTION DES DONNÉES

• Présentation de Dataform et de son rôle dans la gestion des données modernes
• Importance de la gestion des données dans les entreprises
• Concepts clés : données, bases de données, entrepôts de données
• Présentation de l'interface utilisateur de Dataform et de ses composants principaux
• Création d'un compte et configuration initiale de l'environnement de travail

CONFIGURATION DU PROJET DATAFORM

• Création et configuration d'un fichier de projet dataform.json
• Établissement de la connexion à des sources de données variées
• Définition des dépendances entre les tables et les fichiers de modélisation
• Gestion des environnements de développement, de test et de production
• Bonnes pratiques pour la structuration de projets de données

DÉVELOPPEMENT DE MODÈLES DE DONNÉES AVEC SQL

• Introduction à la modélisation des données relationnelles : entités, relations, attributs
• Création de tables, vues et fonctions avec Dataform et SQL
• Techniques de transformation, de filtrage et d'agrégation des données
• Exercices pratiques sur des cas d'usage réels
• Conseils pour l'écriture de code SQL propre et maintenable

AUTOMATISATION DES WORKFLOWS DE DONNÉES

• Présentation des tâches Dataform et de leur configuration
• Planification et exécution des tâches : déclencheurs et planificateurs
• Gestion des dépendances et orchestration des workflows
• Surveillance en temps réel des exécutions de tâches et débogage
• Exemples pratiques d'automatisation des workflows de données

COLLABORATION ET PARTAGE DANS LES PROJETS DE DONNÉES

• Techniques de collaboration au sein des équipes de données
• Utilisation des fonctionnalités de révision et de partage de code de Dataform
• Gestion des accès et des permissions pour sécuriser les projets
• Mise en place de notifications et de commentaires pour améliorer la communication
• Stratégies de résolution de conflits et de révisions de code

SURVEILLANCE, OPTIMISATION ET DÉPANNAGE

• Introduction aux principes de surveillance des pipelines de données
• Techniques d'optimisation des performances des requêtes SQL
• Utilisation des index, des partitions et des agrégations dans Dataform
• Stratégies pour détecter et résoudre les problèmes de performance
• Étude de cas : dépannage d'un workflow de données avec Dataform