Avec l’évolution constante du domaine de la data science, il est normal d’en voir les outils et les méthodes évoluer avec le temps. Ces dernières années, deux outils ont particulièrement transformé la façon dont les data scientists travaillent : Docker et Kubernetes. Pourtant, ces outils sont traditionnellement associés au développement d’applications. Dans cet article, nous allons tâcher de comprendre comment Docker est utilisé dans le domaine de la data science.
Vous souhaitez vous aussi intégrer les techniques DevOps dans vos workflow de data science ? Notre formation Docker en inter et intraentreprise vous permettra de maitriser l’outil et d’accélérer vos environnements de machine learning
L’équipe Ambient IT
Les bases de Docker
Pour comprendre pourquoi Docker est si efficace dans la construction de modèles de machine learning, il faut d’abord comprendre comment il fonctionne.
Docker est un outil permettant de créer des environnements complètement isolés dans lesquels déployer des applications. En ressemblant tout le code des applications et de leurs dépendances dans un conteneur, cela les rend plus résilientes, flexibles et faciles à gérer.
L’architecture Docker
- Conteneur : c’est une instance exécutable d’une image. Vous pouvez modifier ou gérer un conteneur à l’aide de l’API ou de la CLI de Docker.
- Image Docker : mode de lecture qui contient un ensemble d’instruction afin de créer un conteneur pouvant être déployé et exécuté sur la plateforme Docker
- Dockerfile : contient tout le code nécessaire à la mise en place d’un conteneur Docker. Il agit comme une véritable « notice » qui décrit l’installation complète du système d’exploitation du système que l’on souhaite exécuter.
Les avantages de Docker pour la Data Science
Le processus de construction d’un modèle machine learning sur une machine (comme un PC à la maison) n’est fondamentalement pas une tâche très difficile. Toutefois, le rendre scalable et partageable sur de nombreuses machines et configurations différentes est une autre paire de manches.
Lors de la construction de modèles machine learning conséquents, de nombreux problèmes peuvent survenir comme des plantages de programme, une mauvaise optimisation ou encore des problèmes de performance.
C’est pour cela que l’exécution de vos modèles de machine learning avec Docker présente de nombreux avantages.
Reproductibilité
Une fois testé dans votre environnement Docker, vous pouvez déployer votre application dans n’importe quel système utilisant Docker. En plus de vous faire gagner du temps, cela vous permet également de vous assurer que votre application fonctionnera exactement comme elle l’a fait lors des tests. C’est un avantage crucial pour la validation, la collaboration et la résolution de problèmes.
Agilité et efficacité
La portabilité et l’adaptation comptent parmi les avantages offerts par Docker. Les technologies de conteneurs applicatifs facilitent la mise à l’échelle de vos flux de machine learning en fonction de vos besoins. Vous pouvez rapidement créer de nouvelles instances de conteneurs pour gérer une charge de travail plus importante.
De plus, les conteneurs Docker sont extrêmement légers et ont des besoins en ressources bien moindres si on les compare avec des machines virtuelles classiques. Cela permet d’exécuter plusieurs instances simultanément.
Portabilité
Les conteneurs Docker peuvent être exécutés sur n’importe quelle machine compatible. Qu’il s’agisse d’une petite machine en local à une infrastructure cloud complexe. Cela vous permet de distribuer et de déployer des modèles de machine learning à travers toutes vos équipes sans vous soucier de problèmes d’installation.
Isolation
Docker créé des environnements isolés qui contiennent tout le nécessaire à l’exécution d’une application spécifique. Cela permet non seulement de garantir la cohérence des environnements de développement et de réduire les problèmes liés aux différentes configurations.
Intégration
Docker est particulièrement populaire grâce à sa facilité d’intégration avec d’autres outils comme Kubernetes ou avec des outils de cloud computing. Cette facilité d’intégration permet à Docker de s’adapter facilement à n’importe quelle architecture existante.
Les bonnes pratiques du Machine learning avec Docker
Les bonnes pratiques pour les images Docker
Il est grandement conseillé d’utiliser les images officielles, surtout si vous débutez sur l’outil. Les images officielles sont accompagnées d’une documentation complète et sont souvent adaptées pour une grande variété d’usage. Ces images sont également mieux sécurisées que les images maison et peuvent donc être utilisées sans risque.
Utiliser la commande .dockerignore vous permet d’éviter que des fichiers et des répertoires indésirables ne soient contenus dans l’image lors de l’exécution de la commande docker build. Cette commande permet de créer un fichier .dockerignore qui contient les fichiers et les répertoires que vous ne voulez pas voir figurer dans l’image.
Enfin, vous pouvez tirer parti du cache Docker. Les images étant organisées en couche, chacune avec un objectif spécifique. Les instructions des fichiers Docker se rapportent à chaque couche et décrivent les modifications du système de fichiers de l’image entre la pré-exécution et la post-exécution. Elles sont donc mises en cache par Docker afin de réduire le temps de construction. Plutôt que de recréer une couche similaire, Docker réutilisera simplement une couche existante du cache.
Les bonnes pratiques pour les conteneurs
La meilleure façon d’utiliser les conteneurs Docker est de dédier un conteneur pour chaque processus. Si un conteneur peut exécuter plusieurs tâches en même temps, cela n’est pas conseillé, car vous perdez les avantages liés à cette technologie.
Cette approche vous garantit de pouvoir réutiliser facilement vos conteneurs ainsi que de pouvoir garder en flexibilité si vous avez besoin de faire croitre un service en particulier sans toucher aux autres. De plus, la surface des conteneurs étant plus petite, les problèmes sont plus faciles à détecter et à résoudre.
