Formation Spark Tuning Avancé

Les + : Exemple précis…

Adéquation Théorie et TP

Les – : RAS mieux en présentiel je trouve

Je souhaite suivre : –

En synthèse : RAS

Les + : – Introduction au monde Spark (installation jusqu’à prise en main)

– Travaux pratiques avec des exemples concrets

Les – : Tuning et optimisation brièvement traités

Les + : Diversité des éléments abordés. Partie sur l’analyse prédictive intéressantes.

Disponibilité du formateur

Les – : Je m’attendais à une formation beaucoup plus orientée sur le tuning de spark comme son nom le fait croire (optimisation, paramétrage, bonnes pratiques, comprendre et analyses un DAG…). Déçu sur ce point, je ne ressors pas avec des billes sur ce point alors que c’était ma principale attente.

En synthèse : Formation en distanciel, donc sur PC perso. Nécessité d’installer des logiciel en début des formations qu’il aurait pu être intéressant de mentionner en amont afin de gagner du temps

Les + : Très bonnes connaissances et expérience du formateur, pédagogue

Adaptation du formateur aux demandes de l’auditoire (ajout de slides sur la partie optimisation de Spark)

Les – : un peu de perte de temps sur certains TP

en distanciel, il est plus difficile de suivre l’avancement de chacun sur les TPs, de voir où se trouvent les difficultés, l’endroit où l’on bloque.

Pas mal de choses différentes sont présentées pendant la formation, du coup selon l’intérêt des participants, certaines parties mériteraient d’être approfondies, comme l’optimisation :

on pourrait peut être ajouter des schemas sur la partie optimisation / fonctionnement du parallélisme avec des exemples de use cas concrets , et montrer le shuffle, enchainement de repartition et de coalesce

Les + : Très bonne maitrise du sujet par le formateur, capable de répondre à tout type de questions.

Explications techniques des outils de travail, même si pas en rapport direct avec le cours (tunnel ssh, docker, scala …)

Les – : Les TP : certains étaient trop focus (i.e SQL Spark) et d’autres pas assez progressifs me concernant.

Les transitions entre Théorie et TP étaient souvent difficiles, et nous étions assez peu autonomes pour les réaliser seuls.

Les + : walid a bien su adapté le programme et repondre aux sujets pointus.

Les moments les plus pertinents étaient souvent sur les sujets hors programme, ou l’on rentrait vraiment en profondeur sur des sujets techniques

Les – : les moments les moins pertinents étaient sur les sujets très scolaires, ou l’on connaissait deja la pratique, on aurait pu passer plus vite la dessus

Je recommande la formation

Les + : Le formateur est à l’écoute des questions et s’adapte aux demandes des stagiaires. Le fonctionnement de spark en scala ou via les spark UI (DAG, plan d’exécution) est bien expliqué. Les Bonnes pratiques et le fonctionnement d’applications autour de l’écosystème big data est très utile pour se situer dans le contexte Big Data

Les – : absence d’information sur l’installation hdfs, non utilisation S3/minio

Je recommande la formation

Les + : L’étude approfondie de l’écosystème autour de Spark (Scala, ML, etc.).

L’appui sur Spark UI et l’optimisation des appels Spark.

Les compétences du formateur.

Les – : GoTo meeting prenait bcp de ressources (notamment quand on mettait la webcam).

Pas assez de possibilité de montrer des cas concrets dans nos entreprises.

Le décalage de la formation de Février 2023 à Août 2023 qui entraine une perte d’utilisation de Spark dans notre entreprise car on nous attendait pour le mettre en œuvre. Et maintenant, on va peut-être partir sur autre chose.

La pause méridienne un peu courte sur une formation dense.

Je souhaite suivre : Formation sur le stockage objet (S3 par exemple), Kubernetes.

Je recommande la formation

Je recommande la formation