Formation Kafka
| 1980€ HT / personne |
| 3 jours (21 heures) |
Présentation
Maîtrisez une plateforme de streaming et scalable, apprenez à configurer des architectures distribuées, manipuler des pipelines de données, et l’utilisation des API Kafka (Core Kafka, Kafka Streams, Kafka Connect).
Notre formation Apache Kafka vous permettra de maîtriser cette plateforme de streaming distribuée, essentielle pour traiter des flux de données en temps réel.
Vous apprendrez à installer, configurer et administrer Kafka, à produire et à consommer des messages pour construire des pipelines de données robustes.
Cette formation vous fournira les compétences nécessaires pour exploiter pleinement le potentiel Kafka dans vos projets, en assurant une gestion efficace des flux de données en temps réel.
Comme pour toutes nos formations, notre formation Kafka vous présentera sa toute dernière version et ses nouveautés (à la date de rédaction de l’article : Kafka 3.9).
Objectifs
- Comprendre l’architecture et les concepts fondamentaux de Kafka
- Implémenter des consumers / producers efficacement
- Gérer les évolutions d’API
- Intégrer des sources diverses
- Appréhender les architectures event-driven
- Implémenter la sécurité
Public visé
- Développeurs
- Data Scientists
- Architectes
- Administrateurs système
- DevOps
Pré-requis
- Connaissances de base d’un système Unix
- Connaissance dans un langage de développement moderne (Java, Python, Scala)
- Compréhension des concepts de messagerie et de traitement de flux de données
Pré-requis logiciels (dans le cas d’une Intra-entreprise)
- Les dernières mises à jour de l’OS
- La dernière version de JDK
- ZooKeeper Framework à jour
RECOMMANDATIONS DE LECTURES AVANT LA FORMATION
- Kafka in a nutshell est un excellent moyen de comprendre les bases du logiciel
- La documentation officielle d’apache Kafka
- Un article pour comprendre le jargon Kafka
Programme de la formation Kafka
Introduction à Kafka
- Présentation du projet Apache Kafka
- Principaux cas d’usage : Message broker, Bufferisation d’évènements, architecture event-driven.
- Comprendre le concept de log distribué : topic, partition, groupe de consommateurs
Cluster Kafka
- Nœuds du cluster : Contrôleurs, brokers, coordinateurs. Kraft vs Zookeper
- Distributions : Les différentes alternatives de mise en place
- Utilitaires Kafka essentiels : Command-line tools
- Outils graphiques pour la gestion et le monitoring (ex. Kafka Manager, Confluent Control Center, AKHQ, …)
- Ateliers : Mise en place d’une stack docker démarrant Kafka et un outils d’administration, Pratique des outils de commmande en ligne
Kafka APIs
- Producer API : Production synchrone, asynchrone, fire-and-forget. Comparaison
- Consumer API : Boucle de poll, gestion des offsets
- Gestion des schemas avec un Schema Registry : Modes de compatibilité
- Connect API : Intégration avec les autres systèmes, gestion des connectors
- Parcours de l’API d’admin
- Ateliers : 1 atelier sur chaque point dans le langage des participants (Java, C#, Python, Javascript, …)
Garanties Kafka
- Comprendre les mécanismes de réplication et leur importance
- Garanties At Most Once et At Least Once
- Comment obtenir de l’Exactly Once
- Configurations pour le débit et la latence
- Ateliers : Test de la configuration par défaut, Développement d’un processeur offrant de l’Exactly Once
Kafka Stream
- Concepts de Kafka Streams pour le traitement distribué
- Introduction et utilisation de l’API Kafka Stream
- Découverte de ksqlDB : requêtes SQL sur des flux Kafka
- Ateliers : Développement d’un processeur avec KafkaStream, Découverte kSQLDB
Sécurité
- Configuration des listeners dans Kafka
- Mise en place de SSL/TLS pour sécuriser les communications
- Authentification des clients via SASL : Plain, SCRAM, Kerberos, OAuth2
- Gestion des droits d’accès avec les ACLs
- Configuration des quotas pour limiter l’utilisation des ressources
- Ateliers : Démarrage d’un stack sécurisé, implication sur le code client
FAQ – QUESTIONS / RÉPONSES
Comment cette formation vous permettra de gérer un flux de données à une échelle ?
La formation vous apprendra à exploiter pleinement Kafka pour traiter des millions d’évènements par seconde, tout en maintenant une haute disponibilité et une scalabilité optimale.
En quoi cette formation peut-elle m'aider à intégrer Kafka dans mon architecture existante ?
Vous découvrirez comment connecter Kafka à des systèmes tiers, configurer des intégrations avec des intégrations avec des bases de données ou des frameworks comme Spark et Flink, et assurer une transition fluide dans un environnement distribué.
Quels sont les scénarios pratiques abordés dans cette formation Kafka ?
Vous travaillerez sur des cas concrets comme la gestion des pipelines de données complexes, la mise en place des systèmes d’alerte en temps réels, et l’optimisation de clusters Kafka pour des charges importantes.
Pourquoi Kafka est-il devenu un pilier des architecture modernes en temps réel ?
Kafka s’impose comme un standard grâce à sa capacité à traiter des données massives en temps réel, sa persistance native des messages, et sa comptabilité avec des systèmes distribués dans un environnements critiques.
En quoi Kafka se différencie t-il des autres systèmes de gestion de messages ou de flux ?
Kafka ne se limite pas à la messagerie : il offre une persistance durable, un traitement distribué des données et une scalabilité horizontale, le tout avec une faible latence, ce qui le rend unique dans les environnements temps réel.
Comment Kafka peut-il transformer la gestion de données dans mon entreprise ?
Kafka centralise les flux de données pour alimenter des systèmes analytiques, des pipelines ETL et des microservices, en réduisant la complexité et en améliorant les performances de vos applications.
Pour aller plus loin
Formation Kafka Administration
Formation Spark Tuning Avancé
Formation Spark et Machine Learning
Formation Cassandra
Formation Spark Streaming
Formation PostgreSQL
Autour du sujet
Langues et Lieux disponibles
Langues
- Français
- Anglais / English
Lieux
-
France entière
- Paris
- Lille
- Reims
- Lyon
- Toulouse
- Bordeaux
- Montpellier
- Nice
- Sophia Antipolis
- Marseille
- Aix-en-Provence
- Nantes
- Rennes
- Strasbourg
- Grenoble
- Dijon
- Tours
- Saint-Étienne
- Toulon
- Angers
-
Belgique
- Bruxelles
- Liège
-
Suisse
- Genève
- Zurich
- Lausanne
-
Luxembourg
Nos Formateurs Référents
Cyril
Témoignages
Les + : Equilibre entre la théorie et la pratique.
Formateur qui explique de façon très pédagogique.
Les – : Pas vraiment de points faibles mais peut-être qu’elle aurait besoin d’un jour supplémentaire.
Je souhaite suivre : Docker
Tests
En synthèse : Pas un point faible en soi mais la formation s’adresse plus à un public d’administrateur de réseau et/ou devops, et moins aux développeurs (qui formaient le public de la formation).
Afficher tous les témoignages
Les + : Equilibre entre la théorie et la pratique.
Formateur qui explique de façon très pédagogique.
Les – : Pas vraiment de points faibles mais peut-être qu’elle aurait besoin d’un jour supplémentaire.
Je souhaite suivre : Docker
Tests
En synthèse : Pas un point faible en soi mais la formation s’adresse plus à un public d’administrateur de réseau et/ou devops, et moins aux développeurs (qui formaient le public de la formation).
Les + : – Contenu riche et équilibré (théorie et pratique).
– Les Workshop (ateliers) qui nous ont permis de mettre en pratique et mieux comprendre les aspects théoriques.
Les – : – La durée de la formation (5 jours au lieu de 3 jours ça aurait été parfait)
Je souhaite suivre : Formations architecte informatique, Cyber Sécurité, ingénieur IA
Les + : Formation très utile, permettant de comprendre ce qu’est Kafka, ses différents aspects, son utilité.
Le temps a été bien réparti entre la partie théorique et les workshop.
Les + : Bon découpage du cours en ateliers. Bon équilibre théorie/pratique.
Les – : Un peu trop courte pour le niveau de connaissances du sujet de notre équipe au préalable.
Les + : alliance de la pratique à la thèorie
Les – : Pourrais être faite en un laps de temps plus long
Les + : L’environnement mis à disposition, les différents workshops qui permettent de pratiquer, l’expertise du formateur.
En synthèse : Merci à Tariq pour la formation intéressante, assez bien organisée et avec suffisamment de pratique. 🙂
Les + : Beaucoup de Workshops pour mieux assimiler les concepts
Les – : Difficulté pour préparer l’environnement nécessaire à la formation lors de la 1ère journée.
Les + : Explications claires, la disponibilité du formateur pour répondre aux questions
Les – : le support de TP pour les utilisateurs sous Windows
Les + : pédagogie du formateur
Les – : Temps de formation insuffisant ( 0.5 j de plus sera mieux)
Les + : Expertise du formateur, clarté des informations données, re-explications et exemples en cas de non compréhension
Les + : compétence et disponibilité du formateur
Les – : Les prérequis indiquaient en prérequis « un langage de POO (Java, Python, …) mais les TP ont été réalisés exclusivement avec Java (que je ne maîtrise pas 🙁
Les + : Partie pratique
Noter la formation
| 1980€ HT / personne |
| 3 jours (21 heures) |
UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?
Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.
ILS SE SONT FORMÉS CHEZ NOUS
