Formation LLM

PROGRAMME DE NOTRE FORMATION LLM

Données d’entraînement

• Ingrédients d’un LLM
• Exigences en matière de données de pré-entraînement
• Ensembles de données de préformation populaires
• Prétraitement des données de formation
• Exploitation des caractéristiques des ensembles de données de préformation
• Problèmes de biais et d’équité dans les ensembles de données de préformation

Tokenisation, objectifs d’apprentissage et architectures

• Vocabulaire et tokenisation
• Objectifs d’apprentissage
• L’architecture
  • Architectures à codeur seul
  • Architectures codeur-décodeur
  • Architectures à décodeur seul
• Résumé

Adapter les LLM à votre cas d’utilisation

• Naviguer dans le paysage du LLM
  • Qui sont les fournisseurs de LLM ?
  • Les saveurs du modèle
• Comment choisir un LLM pour votre tâche ?
• Accès et chargement des LLM
• Stratégies de décodage

Génération de textes avec des modèles GPT

• Utilisation des modèles de génération de texte
• Introduction à l’ingénierie des messages-guides
• Ingénierie avancée des messages-guides
• Raisonner avec des modèles génératifs
• Vérification des résultats

Modèles multimodaux à langage étendu

• Transformateurs pour la vision
• Modèles d’intégration multimodaux
  • BLIP 1 : Connecter le texte et les images
• Rendre les modèles de génération de texte multimodaux
  • BLIP-2 : Combler le fossé entre les modalités
  • Prétraitement des données multimodales
  • Cas d’utilisation 1 : sous-titrage d’images
  • Cas d’utilisation 2 : messages multimodaux basés sur le chat

Création de modèles d’intégration de texte

• Intégrer des modèles
• Qu’est-ce que l’apprentissage contrastif ?
• SBERT
• Création d’un modèle d’intégration
• Affiner un modèle d’intégration
• Apprentissage non supervisé

Génération améliorée par récupération (RAG)

• La nécessité de la RAG
• Scénarios typiques
• Le pipeline RAG
• RAG pour la gestion de la mémoire
• RAG pour la sélection d’exemples de formation en contexte
• RAG pour l’apprentissage du modèle
• Limites de RAG
• RAG vs. contexte long
• RAG vs fine-tuning