Formation Giskard AI : boostez vos modèles ML

PROGRAMME DE NOTRE FORMATION GISKARD AI

INTRODUCTION À GISKARD AI ET AUX TESTS EN IA

• Présentation de Giskard AI 
• Enjeux des tests et de la validation des modèles d’IA
• Vue d’ensemble des types d’erreurs en IA et de leur systémicité
• Introduction aux boucles de rétroaction et interactions entre composants
• Étude de cas sur les erreurs auto-amplifiées en IA

MÉTHODES DE TEST COMPORTEMENTAL

• Tests comportementaux et leur pertinence en IA
• Tests métamorphiques
• Tests heuristiques pour modèles IA
• Étude des relations métamorphiques comme l’invariance et la monotonie
• Atelier pratique : implémentation de tests métamorphiques sur des exemples concrets

TESTS DE DÉRIVE ET DE PERFORMANCE

• Dérive conceptuelle et impacts sur les modèles d’IA
• Méthodes de test de dérive :
  • Divergence de Kullback-Leibler
  • Test de Kolmogorov-Smirnov
  • Distance de Wasserstein
• Utilisation de l’indice de stabilité de la population (PSI) et du Trust score
• Tests de performance : évaluer l’erreur des modèles et le score de calibration
• Comparaison de la performance entre modèles simples et complexes

TESTS D’EFFICACITÉ ET MÉTRIQUES POUR LES CARACTÉRISTIQUES NUMÉRIQUES

• Évaluation de l’empreinte carbone et de la consommation énergétique
• Analyse du temps d’inférence comme mesure de l’efficacité d’un modèle
• Utilisation des métriques pour les caractéristiques numériques, telles que la distance de Wasserstein et le test de Kolmogorov-Smirnov
• Atelier pratique : mise en œuvre de tests d’efficacité sur des cas réels
• Interprétation des résultats

UTILISATION PRATIQUE DE GISKARD AI

• Présentation des ressources open-source
• Méthodes de test dans le processus de développement de modèles d’IA
• Atelier pratique : utilisation de Giskard AI pour la génération automatique de données et les tests métamorphiques
• Étude de cas : application de Giskard AI pour identifier et corriger les erreurs systémiques

INTERPRÉTATION CRITIQUE DES TESTS ET STRATÉGIES DE TEST ROBUSTES

• Résultats des tests en tenant compte de leurs limites
• Sélection de la méthode de test la plus appropriée selon les exigences du domaine d’application
• Atelier pratique : écriture et compréhension des scripts de tests spécifiques en Python
• Discussion sur la mise en place de stratégies de test robustes et sur la réduction des risques d’erreur
• Évaluation de la fiabilité et de la performance des modèles d’IA en conditions réelles