Formation TensorFlow

Programme de notre formation TensorFlow version 2

Journée 1 matin : Manipulation de vecteurs et tenseurs avec TensorFlow

• Installation
  • Installation de Tensorflow
  • Google Collab
• Utiliser Tensorflow comme Numpy
  • Tenseurs et opérations
  • Variables
• Cas d’usages
  • Huber Loss
  • Import d’images

Après-midi : Construire un pipeline de données

• Tensorflow Data API
  • Concept de Dataset
  • Enchaîner les transformations
  • Shuffle de la donnée
  • Entrelacement
  • Création d’un pipeline de lecture de CSV complet
  • Optimisations
• API de prétraitement Tensorflow
  • Utilité
  • Colonnes numériques
  • Colonnes catégorielles
  • Utilisation en tant que layer

Journée 2 matin : Introduction aux réseaux de neurones avec Keras

• Keras
  • De la biologie aux neurones artificiels
  • Le neurone biologique
  • Calculs logiques avec des neurones
  • Le perceptron
  • Les MLPs et la rétropropagation
  • MLPs de régression
  • MLPs de classification
• Implémenter des MLPs avec Tensorflow
  • Sauvegarder et restaurer un modèle
  • Utiliser des callbacks

Après-midi : Entraîner des Réseaux de Neurones

• Le problème du “Vanishing Gradient”
  • Réutilisation de modèles pré-entraînés
  • Optimiseurs plus rapides
• Mise en pratique
  • Création d’un classificateur d’image avec l’API Séquentielle
  • Création d’une régression avec l’API Séquentielle
  • Création de modèles complexes avec l’API Fonctionnelle
  • Optimisation des hyperparamètres

Journée 3 matin : CNN

• La vision par ordinateur
• L’architecture du cortex visuel
• Les couches de convolutions
• Les couches de Pooling
• Les différentes architectures des réseaux de neurones convolutionnels (CNN)
• Data Augmentation

Après-midi : Travaux pratique sur les Modèles

• Implémentation d’un CNN Simple sur TensorFlow
• Utilisation de modèles pré-entraînés
• Modèles pré-entraînés pour du Transfer Learning
• Classification et localisation d’objets

Journée 4 matin : Cas d’applications

• Traitement des données séquentielles avec des RNNs et des CNNs
  • Les neurones et les layers récurrents
  • Entraîner un RNN
  • Prédire une série temporelle
• Mise en pratique du Natural Language Processing with RNNs
  • Comment préparer les données textuelles ?
  • Comment séparer le dataset en de multiples fenêtres ?
  • Générer du fake Shakespear
  • Classification de texte : Analyse Sentimentale

Après-midi : Autoencoders

• Representation Learning et Generative Learning avec des AutoEncodeurs et des GANs
  • Créer un PCA avec une partie d’AutoEncodeur
  • Construire un “Stacked Autoencoder” avec TensorFlow
  • Générer de faux vêtements avec des GANs

Module Complémentaire Tensorflow IoT – 2 jours supplémentaires (uniquement pour des formations d’équipe)

TensorFlow appliqué à l’IoT

• Pourquoi utiliser un système l’embarqué ?
  • IoT et IA (Théorie)
    • État de l’art : Exemples concrets et possibilités d’application de l’AI à IoT
    • Les deux principales architectures
      • Cloud AI (Théorie)
      • Exemples avec Google Cloud
    • On device inference (Théorie)
    • Exemples d’applications sur Raspberry Pi

TENSORFLOW

• Une brève revue
• Contrainte
  • De Python à C++ (Théorie)
    • Python 3.X et n’importe quelle version de C++, en utilisant Bazel
  • Hardware (Théorie)
    • Raspberry (Ubuntu 16.04 ou 18.04) ARM64
  • Les VPU / TPU
    • Intel Movidius Neural Compute Stick

Présentation de TensorFlow Lite Optimisation

• Initialiser un environnement (Théorie + Exercices)
  • R1.14 (stable) ou R2.0 (stable/preview)
• Workflow
  • Présentation globale (Théorie)
  • Obtenir un modèle (Exercices)
    • Exemple avec InceptionV3
  • Convertir (exercices)
    • Utilisation de TensorFlow Lite Converter
    • Charger le graphique en C++
  • Déployer et appliquer
    • Sur un système Ubuntu (16.04 ou 18.04)
  • Optimiser (Exercices)
    • Quantization
• Performance
  • Best practices (Théorie + Exercices)
    • Supprimer la redondance
    • Jouer avec le multi-threading

Module Complémentaire TensorFlow Avancé – 4 jours supplémentaires (uniquement pour des formations d’équipe)

Les Nouveautés TensorFlow 2.x

• Construction de modèle facile avec l’API Keras
• Déploiement de modèles robustes en production sur n’importe quelle plate-forme
• Nettoyage des API obsolètes et réduction des duplications
• Itération immédiate et un débogage intuitif
• Nouvelles extensions
  • Tensors Ragged
  • TensorFlow Probability
  • Tensor2Tensor
• Module de Compatibilité à TensorFlow 1
  • tensorflow.compat.v1

Comprendre le Deep Learning

• Deep Learning : La révolution de l’Intelligence Artificielle
• Les limites du Machine Learning
• Avantages du Deep Learning face au Machine learning
• Les raisons de passer au Deep
• Exemples de la vie réelle et scénarios applicables
• Les Math derrière le Machine Learning : Linear Algebra
  • Scalars
  • Vectors
  • Matrices
  • Tensors
  • Hyperplanes
• Les Math derrière le Machine Learning : Statistics
  • Probability
  • Conditional Probabilities
  • Posterior Probability
  • Distributions
  • Samples vs Population
  • Resampling Methods
  • Selection Bias
  • Likelihood
• Les algorithmes du Machine Learning
  • Regression
  • Classification
  • Clustering
• Reinforcement Learning
• Underfitting & Overfitting
• Optimization
• Convex Optimization

TensorFlow

• Définition : Neural Networks
• Biological Neuron
• Perceptron
• Multi-Layer Feed-Forward Networks
• Apprentissage Neuronal (Learning Neural Networks)
• Backpropagation Learning
• Gradient Descent
• Stochastic Gradient Descent
• Quasi-Newton Optimization Methods
• Generative vs Discriminative Models
• Activation Functions
  • Linear
  • Sigmoid
  • Tanh
  • Hard Tanh
  • Softmax
  • Rectified Linear
• Loss Functions
• Loss Function Notation
• Loss Functions for Regression
• Loss Functions for Classification
• Loss Functions for Reconstruction
• Hyperparameters
• Learning Rate
• Regularization
• Momentum
• Sparsity

Comprendre les réseaux neuronaux

• Defining Deep Learning
• Defining Deep Networks
• Common Architectural Principals of Deep Networks
• Reinforcement Learning application in Deep Networks
• Parameters
• Layers
• Activation Functions – Sigmoid, Tanh, ReLU
• Loss Functions
• Optimization Algorithms
• Hyperparameters

Convolutional Neural Network (CNN Algorithm)

• Introduction à CNN
• Mise en application et architecture d’un CNN
• Couches de convolution : Pooling layers in a CNN
• Couches de convolution et de mise en commun dans une CNN
• Comprendre et visualiser un CNN
• Transfert d’apprentissage et mise au point des réseaux de neurones convolutionnels

Recurrent Neural Networks (RNN Algorithm)

• Introduction au RNN Model
• Cas d’utilisation du RNN
• Modelling sequences
• Apprentissage RNNs avec Backpropagation
• Long Short-Term memory (LSTM)
• Recursive Neural Tensor Network Theory
• Recurrent Neural Network Model

RBM & Autoencoders

• Restricted Boltzmann Machine
• Applications de RBM
• Collaborative Filtering avec RBM
• Introduction à l’Autoencoders
• Autoencoders applications
• Comprendre et utiliser Autoencoders
• Variational Autoencoders
• Deep Belief Network