Formation Apache Parquet

Présentation

Apache Parquet est la technologie qu’il vous faut ! Il s’agit d’un format de fichier open source, optimisé pour le stockage et le traitement de grandes quantités de données analytiques. Il utilise un stockage en colonnes, qui permet de lire rapidement des ensembles de données spécifiques sans charger le fichier complet.

Pendant cette formation, vous explorerez les fonctionnalités d’Apache Parquet, notamment sa structure interne et l’organisation de ses métadonnées, qui optimisent le traitement des données. Vous apprendrez également à configurer vos fichiers pour une performance optimale, à définir des schémas et à utiliser les filtres de Bloom, ce qui permet de restreindre les résultats et d’accélérer les requêtes.

Le programme couvrira également des fonctionnalités avancées, telles que les options de compression disponibles (par exemple, Snappy, Gzip) pour réduire le poids des données tout en maintenant leur intégrité, et les index de page, qui facilitent la récupération efficace des données. Vous découvrirez aussi comment gérer les erreurs et les corruptions de données grâce aux sommes de contrôle, essentielles pour garantir la fiabilité des analyses.

Au terme de cette formation, vous serez capable de configurer, optimiser et maintenir des fichiers Parquet adaptés à divers cas d’utilisation. Vous maîtriserez l’encodage des données et l’utilisation des index, des compétences essentielles pour traiter de grandes bases de données avec rapidité et précision. Vous aurez aussi les bases pour contribuer au projet Apache Parquet si vous le souhaitez, enrichissant ainsi l’écosystème open source.

Comme pour toutes, la formation Apache Parquet vous sera présentée avec sa dernière version : Apache Parquet 1.14.

Objectifs