Criteo : Les 6 étapes pour déployer de l’IA en production (temps réel, à l'échelle)
#150 - Le zoom, le podcast avec Sarah et sa ressource préférée
Hello,
Bienvenue dans l’édition #151 de la newsletter DataGen ! 👋
L’agenda de la semaine :
🔍 Zoom sur les 6 étapes de déploiement IA chez Criteo
🎙 Le podcast avec Sarah, Staff ML Lead chez Criteo
📚 Les ressources recommandées par Sarah
C’est parti !
🔍 Zoom sur les 6 étapes de déploiement IA chez Criteo
Ce zoom est tiré de l’échange qu’a eu Caroline avec avec Sarah, Staff ML Lead chez Criteo, l'une des premières licornes françaises, spécialisée dans le marketing digital qui propose une plateforme de ciblage publicitaire.
Criteo est l’une des boîtes françaises les plus matures en IA. Leurs algorithmes recommandent des produits à des millions d’utilisateurs en temps réel. Ils ont mis en place un process de développement industriel.
1/ Challenger les modèles existants
Tout part de l'observation. L'équipe analyse en continu les performances du modèle en production et identifie les axes d'amélioration (optimiser l'ingestion, utiliser une nouvelle techno GenAI...).
“Par exemple, on s’aperçoit que les recommandations sont moins bonnes sur une catégorie de produits et donc, on va creuser pour comprendre pourquoi. Est-ce qu’on a un problème d’ingestion de données ? Un manque de features dans le modèle ? Des hyperparamètres mal optimisés ?”
2/ Estimer le coût et les chances de succès
Avant de lancer les développements, Sarah évalue le coût du projet. Combien d’ingénieurs ? Combien de mois ? Quel budget GPU ? L’objectif est de décider en connaissance de cause si le projet vaut l’investissement.
“Avec une estimation des chances de réussite du projet et du coût, on peut décider si on veut le prioriser.”
3/ Mettre en place un PoC à petite échelle pour valider la direction
Une fois le projet validé, l’équipe commence petit. Elle travaille sur un échantillon réduit, itère vite et vérifie en continu avec des analyses que la direction est la bonne.
“On itère pour avoir la meilleure version du modèle possible et un candidat dont on se dit qu’il a ses chances de succès en production.”
4/ Passer à l’échelle avec du code prod-grade
Une fois le bon candidat identifié, l’équipe passe à la vitesse supérieure. Elle passe de l’expérimentation à du code robuste, testé, schedulé et prêt à tourner en temps réel et à grande échelle.
“Le modèle est entraîné sur tout le périmètre de données. Avoir du code prod-grade, c’est avoir du code robuste dans lequel on a confiance.”
5/ A/B tester sur une petite fraction du trafic réel et scaler progressivement jusqu’à 100%
Lorsque le modèle est prêt, l'équipe le déploie sur une toute petite portion d'utilisateurs et compare le modèle A (l'existant) au modèle B (le nouveau) sur des métriques business concrètes.
“On regarde en priorité les métriques business pour s’assurer qu’on a rien cassé. Quelle est la proportion de clics sur les produits recommandés par le modèle B ? Quelle est la proportion de conversion ?”
6/ Monitorer en continu
La mise en production n’est pas la dernière étape. Si l’algorithme casse, les utilisateurs le voient immédiatement : mauvaises recommandations, expérience dégradée, revenus en baisse…
Pour anticiper ça, l’équipe a mis en place un système d’alerting sur toutes les métriques clés (volume de données, distributions, moyennes par colonne...).
“Quand ça dévie des valeurs attendues, on va être alerté pour aller investiguer. Très souvent, il n’y a pas de problème. Mais quand il y en a un, il faut être réactif.”
🎙 Le podcast avec Sarah, Staff ML Lead chez Criteo
On aborde :
Le parcours de Sarah : d’une thèse en ML à un poste de Lead chez Criteo
Le rôle et l’organisation de son équipe
Son gros projet en 2025 : la mise en production d’un LLM
Le cycle de développement complet (cf. zoom)
La stack qu’ils utilisent : open source et majoritairement in-house
Les principaux challenges : qualité, temps réel et cycles d’itération rapides
Les difficultés liées au management : anticiper les besoins, se coordonner avec le produit et les équipes commerciales
Les prochaines étapes : passage à la recommandation en temps réel et adaptation aux recherches conversationnelles
“Développer des algorithmes de machine learning, ça peut prendre plusieurs mois, voire une année. L’enjeu majeur est de maintenir des cycles d’itération rapides pour pouvoir ‘fail fast’ et se rendre compte rapidement qu’on va dans la mauvaise direction.”
Liens vers l’épisode : Apple Podcasts | YouTube | Spotify
📚 Les ressources recommandées par Sarah
“L’équipe suit la newsletter de DeepLearning.AI. On surveille également ce que font d'autres géants de la tech en termes de système de recommandation. Et on a notre propre blog tech aussi chez Criteo dans lequel on publie régulièrement.”
🤝 DataGen, c’est aussi un collectif de freelances data & IA issus des plus belles boîtes
Grâce au média, on a réuni une team de top freelances data & IA issus des plus belles boîtes (Google, Criteo, Decathlon, Artefact...).
Travailler avec nous : ici