Formation Hadoop : Développement

Programme de notre formation Hadoop : Développement

Présentation du framework Hadoop

• Installation d’Hadoop
• Objectif du projet Hadoop
• Principes de base du framework
• Fonctionnalités essentielles
• Cas d’utilisation dans les domaines différents
• Plateforme Coudera et Hortonworks

MapReduce

• Implémentation MapReduce par le framework Hadoop
• Principe de programmation MapReduce
• Fonction Map() et Reduce()
• Utiliser des technologies MapReduce
• Développer des algorithmes parallèles efficaces
• Créer, personnaliser et déployer des tâches
• Synthétiser les données avec MapReduce
• Meilleures pratiques de développement des applications MapReduce

L’écosystème Hadoop

• Vue d’ensemble d’écosystème
• Fonctionnalités Hadoop vue d’ensemble
• Architecture d’Hadoop
  • HDFS
    MapReduce
    FIL
• Nœud de nom
• Nœud de données
• Nœud de nom secondaire
• Blocs
• Différence entre SGBDR et Hadoop

Hadoop YARN

• Utilisation MapReduce à travers Yarn
• Utilisation d’un cluster
• Gestion de cluster du cloud
• Différentes applications sur le même cluster
• Composants d’YARN

Base de données relationnelle avec Hadoop

• Qu’est-ce qu’Hive
• Syntaxe de base
• Intégration de MySQL à Hadoop
• Simplifier les requêtes
• Extension du HiveQL
• User-Defined-Functions (UDF)
• Utilisation de Sqoop pour importer des données de MySQL vers HFDS/Hive
• Utilisation de Sqoop pour exporter des données de Hadoop vers MySQL

Programmer Hadoop avec Pig

• Définition et utilisation
• Meilleures pratiques map/reduce
• Développement et intégration en Java
• Extension avec UDF

Hadoop avec Spark

• Pourquoi choisir Spark ?
• Architecture de Spark
• Composants essentiels
• Ensembles de données distribuées résilients (RDD)
  • Opérations
  • Persistence
  • Shared Variables
• Fonctions intégrées

Stockage de données sur HDFS

• Système de fichier Hadoop Distributed File System
• Charger des données non structurées de HDFS
• Différents types de donnés XML
• Paralléliser des calculs sur de larges volumes de données
• Fonctionnement en mode distribué

Stockage de données avec HBase

• Charger des données non structurées d‘HBase
• Fonctionnement de cluster HBase
• Fonctionnement indépendant
  • HRegionServer
  • HMaster
  • ZooKeeper
• Mécanismes de sécurité en Hadoop
• Gestion de l’authentification

Hadoop Streaming

• Configuration d’Hadoop
• Définition de MapReduce à Streaming
• Langage Python avec Hadoop Streaming
• Créer un job MapReduce en Python
• Suivie d’un job MapReduce en streaming