Formation PyTorch Fast.Ai : Deep Learning

Programme de la formation PyTorch

Jour 1 – matin : Deep Learning : La révolution de l’Intelligence Artificielle

• Définition du machine learning comme problème d’optimisation
• Les typologies d’algorithmes de machine learning : supervisé (classification, régression), non-supervisé, semi-supervisé, autosupervisé, apprentissage par renforcement
• Sous-apprentissage, surapprentissage, généralisation (courbe d’apprentissage), métrique et évaluation
• Les Mathématiques derrière le Machine Learning : algèbre linéaire, statistiques/probabilités, descente de gradient appliqué à la régression linéaire
• Les avantages et limites du Machine Learning expliqués sur la régression logistique et le SVM
• Avantages du Deep Learning face au Machine learning expliqués sur le MLP et les CNN
• Les raisons de passer au Deep Learning
• Exemples de la vie réelle et scénarios applicables
• Présentation de Pytorch
• Présentation des surcouches fastai et pytorch ligthning

Jour 1 – après-midi : Installation et prise en main de Pytorch : manipulation de vecteurs et tenseurs avec Pytorch

• Installation : installation de Pytorch, anaconda, drivers ; Google Collab
• Utiliser Pytorch comme Numpy : tenseurs, opérations et variables
• Cas d’usages
• Création d’un module réseau de neurones
• Chargement d’un dataset et découpage en dataset de train et de test avec Pytorch et Sklearn
• Utilisation de métriques Sklearn puis de Tensorboard pour la visualisation des résultats
• Optimisation des hyperparamètres et principe du AutoML
• Sauvegarder et restaurer un modèle
• Utiliser les callbacks

Jour 2 – matin : Introduction aux CNN et application au traitement d’images

• Mise en application et architecture d’un CNN (convolution, pooling, data augmentation)
• Comprendre et visualiser un CNN et le produit de convolution
• Couches de convolution et de mise en commun (classification) dans une CNN
• Transfert d’apprentissage et mise au point des réseaux de neurones convolutionnels
• Explication de la backpropagation sur un exemple et implémentation en Pytorch
• Classification d’images de bout en bout : téléchargement d’une base d’apprentissage,(chien/chat, ours : teddy,grizzly,black bear), utilisation d’une architecture à l’état de l’art (ResNet) par transfer learning
• Comparaison de la création d’un CNN avec Pytorch et FastAI

Jour 2 – après-midi : Multi Layer Perceptron (MLP) sur des données tabulaires

• Explication du concept d’embedding et son importance pour la réduction de dimension sémantique
• Chargement de données csv avec la librairie Pandas
• Création de variables quantitatives à partir de variables qualitatives/catégorielles, traitement des données manquantes (nan values), normalisation avec Pandas puis FastAI
• Création d’un auto-encodeur
• Application à la visualisation (PCA, T-SNE, UMAP) et clustering d’embeddings (application à la recommandation d’items)

Jour 3 – matin : Traitement du texte

• Explication des words embeddings
• Utilisation avec la librairie Spacy (word2vec, CBOW, Glove, TF-IDF)
• Explication des sentences embeddings
• Utilisation avec la librairie Universal Sentence Encoder
• Utilisation des librairies Flair et HuggingFace pour des tâches classiques de NLP (sentiment analysis français et anglais, prédiction, …)

Jour 3 – après-midi : Introduction aux LSTMs et application à l’analyse et prédiction de séries temporelles

• Mise en application et architecture d’un LSTM (séquence à séquence, prédiction/many-to-one, …)
• RNN vs LSTM vs GRU
• Explication du mécanisme d’attention (vs Transformer)
• Création d’un LSTM
• Application pour de la prédiction de séries temporelles (cours boursiers ou ventes)