Formation Apache NiFi : Automatisez vos flux de données
| 1495€ HT / personne |
| 2 jours (14 heures) |
Présentation
Notre formation Apache NiFi vous permettra de facilement traiter et distribuer des données de manière performante.
En effet, proche d’un ETL, Apache NiFi est un outil qui a prouvé son efficacité, par delà le fait, qu’il est hautement configurable afin que les utilisateurs bénéficient d’une livraison garantie, d’une faible latence, d’un débit élevé, d’une priorisation dynamique et d’une fonctionnalité permettant de modifier les flux en cours d’exécution.
Naturellement orienté vers les composants, le paradigme de NiFi est le flow-based programming (FBP). Des messages pouvant atteindre plusieurs giga-octets peuvent ainsi être traités de façon automatisé au sein de votre « usine de données ». Très productive, son interface intuitive permet de créer des flux de données par un simple glisser-déposer sans avoir besoin d’écrire la moindre ligne de code.
De plus, le programme est open-source et gratuit. Les documentations faisant référence à Apache NiFi sont nombreuses. Les utilisateurs du logiciel profitent de reportings personnalisés, d’une interface transparente pour le traitement des données avec la technologie DAG et d’un prototypage rapide.
NiFi supporte aussi les protocoles sécurisés comme SSL, HTTPS et SSH. Notre formation Apache NiFi se basera sur la dernière version du logiciel en date à savoir Apache NiFi 1.27.
Objectifs
- Comprendre l’architecture et les fondements du traitement des données avec Apache NiFi
- Maîtriser la gestion de flux de données
- Savoir installer et configurer Apache NiFi
- Intégrer Kafka avec NiFi
Public visé
Développeurs, Professionnels du Big Data, Architectes, Administrateurs systèmes, DevOps
Pré-requis
- Connaissances de base des systèmes Unix
- Connaissances de base en Java
Programme de la formation Apache NiFi
Jour 1 – Introduction
Présentation de l’écosystème Big Data
- Les domaines d’application
- Le NoSql
- Apache Kafka
- Où et pourquoi utiliser les REX?
Concepts fondamentaux
- Présentation d’Apache NiFi
- Comprendre le traitement des flux de données
- Architecture d’Apache NiFi
- Processeurs et flow files
- Connecteurs et processeurs
- Comprendre l’UI
- Classes de processeurs
- Installation et configuration du programme
- Gestion du parallélisme dans un cluster NiFi
Architecture Big Data
- Apache NiFi en producteur de données
- Apache NiFi en consommateur de données
- Pourquoi intégrer NiFi avec Kafka ?
- Intégrer NiFi Kafka
Jour 2 – Maîtrise des processeurs
Utilisation des processeurs
- Générateur FlowFile
- Lecture et traitement des fichiers de données
- Utilisation de SplitRecord
- Utilisation de UpdateRecordProcessor
- Traitement de la duplication des fichiers
- Processeurs liés à JSON
- InvokeHTTP
- EvaluateJsonPath
- FlattenJson
- SplitJson
Utilisation avancée
- Traitement des doublons
- Utilisation de SQL Query dans NiFi
- Processeur NiFi HandleHttpRequest et HandleHttpResponse
- Templates NiFi
- Surveillance de NiFi
- Provenance des données et recherche d’événements
- Relations avec les processeurs
- Debugging et gestion des erreurs
- Utiliser MiniFi pour gérer les IOTs
Composants de NiFi
- NiFi Registry
- Versioning du flow dans NiFi
- Schéma Registry
- Simplification de l’intégration avec des schémas de données
Pour aller plus loin
Formation Talend DI
Formation Azure Data Factory
Formation Alteryx
Langues et Lieux disponibles
Langues
- Français
- Anglais / English
Lieux
-
France entière
- Paris
- Lille
- Reims
- Lyon
- Toulouse
- Bordeaux
- Montpellier
- Nice
- Sophia Antipolis
- Marseille
- Aix-en-Provence
- Nantes
- Rennes
- Strasbourg
- Grenoble
- Dijon
- Tours
- Saint-Étienne
- Toulon
- Angers
-
Belgique
- Bruxelles
- Liège
-
Suisse
- Genève
- Zurich
- Lausanne
-
Luxembourg
Nos Formateurs Référents
Enseignant expert en architecture et en modélisation de base de données pour les technologies Apache comme Kafka, Spark, Hadoop ou encore Cassandra.
J’ai également préconisé Kubernetes sur des architectures et je l’ai installé en production ainsi qu’un système de disque qui s’appelle glusterfs.
Témoignages
Je recommande la formation
Afficher tous les témoignages
Je recommande la formation
Les + : On a pu découvrir des fonctionnalités de NIFI que l’on ne savait pas avant, notamment le monitoring via les ReportingTasks.
L’utilisation de Nifi Registry pour le versionning control. L’utilisation des templates pour la sauvegarde, l’import/export des flux.
Les – : c’est le fait que la formation ait été faite à distance, dès fois la voix se coupe un peu.
Je souhaite suivre : Power BI
En synthèse : le délai de 2 jours semble trop court pour découvrir toutes les fonctionnalités de NIFI, on n’a pas pu aborder l’utilisation de NIFI avec Kafka
Les + : Bonne couverture globale
Les – : Un jour supplémentaire serait nécessaire pour approfondir certains points, notamment sur le développement de flows avec des cas d’usage concret (connexion à kafka, à une base de données..)
Je recommande la formation
Pratique
Durée
Je recommande la formation
Les labs
Pas de correction des labs ensemble
les Labs
Mise en pratique
Bon contenu/TP et très bonne formation.
Noter la formation
| 1495€ HT / personne |
| 2 jours (14 heures) |
UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?
Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.
ILS SE SONT FORMÉS CHEZ NOUS
