Gorgias : Déployer un agent IA au coeur du produit (15 ML Engineers et ML Analysts)
#149 - Le zoom, le podcast avec Firas, sa ressource préférée et une masterclass sur la stratégie GenAI
Hello,
Bienvenue dans l’édition #149 de la newsletter DataGen ! 👋
L’agenda de la semaine :
🔍 Zoom sur le déploiement d’une agent IA au coeur du produit
🎙 Le podcast avec Firas, Head of Machine Learning chez Gorgias
📚 La ressource recommandée par Firas
🎙 La masterclass sur la mise en place d’une stratégie GenAI
C’est parti !
📢 Vous connaissez Alteryx ?
L’outil permet aux profils non techniques d’exploiter leurs données.
Il est utilisé par plus de 8000 clients tous secteurs confondus : Telco avec Orange, Banque avec la Caisse d’Epargne mais aussi Pharma, Services financiers, etc.
Jérôme, Customer Success Manager chez eux, est venu en parler dans l’épisode 258. Ils ont également rédigé un guide pratique pour préparer ses données aux cas d’usage IA.
Un immense merci à Alteryx de sponsoriser DataGen. ❤️
🔍 Zoom sur le déploiement d’un agent IA au coeur du produit - 4 min
Ce zoom est tiré de mon échange avec Firas, Head of Machine Learning chez Gorgias, la scale-up qui propose une plateforme d’IA conversationnelle permettant aux e-commerçants qui vendent via Shopify de mieux gérer leur support client et d’augmenter leurs ventes (+15 000 clients, valorisée à +700 millions de dollars).
Ce que Gorgias propose avant l’arrivée des LLM
Lorsqu’un commerçant vend ses produits via Shopify, ses clients peuvent le contacter pour plein de raisons : poser des questions avant d’acheter, comprendre comment le produit fonctionne, suivre sa livraison…
Gorgias centralise toutes ces communications pour faciliter le travail des équipes qui gèrent le support client.
Avant l’arrivée des LLM, la plateforme proposait déjà de nombreuses automatisations qui permettaient aux clients des e-commerçants de trouver en self-service les informations dont ils avaient besoin (ex : un bouton qui te permet de suivre les livraisons).
Firas a été embauché pour identifier comment déployer plus d’automatisations de ce type en s’appuyant notamment sur du Machine Learning.
“À ce moment-là, les LLM ont commencé à arriver. Pour être honnête, on était un peu sceptiques au début, on n’était pas sûr de déployer un LLM en face des clients. Par exemple, comment ça se passe s’il hallucine ?”
Les chatbots conversationnels qu’ils ont déployés
#1 - Le 1er chatbot conversationnel est spécialisé sur le support client
L’agent IA intègre un RAG qui s’appuie sur la base de connaissance du e-commerçant, il peut répondre directement à un certain nombre de questions comme “Où en est ma commande ?” ou “Quelle est votre politique de remboursement ?”
“Pour valider l’intérêt, on a posé une question simple aux bêta-testeurs : si on vous fait payer demain, est-ce que vous gardez le service ? Les gens nous ont dit : oui, bien sûr, ça me fait gagner du temps, je le garde !”
#2 - Le 2nd chatbot combine le support client et la vente
Ils sont passés d’un agent qui ferme des tickets à un agent qui ouvre également des conversations, à l’image d’un vendeur en boutique qui répond aux questions mais qui peut également recommander des produits.
“On a essayé de combiner les 2 objectifs (support et vente) dans un même prompt mais on avait des réponses de mauvaise qualité. La solution a été de séparer les pipelines. Un LLM essaye de trouver la réponse (support). Un autre essaye d’identifier un nouveau besoin (vente). On met les résultats dans un prompt final et l’agent doit donner une réponse cohérente.”
L’organisation de l’équipe et le rôle du “ML Analyst”
Il sont 14 dans l’équipe de Firas et il y a 2 types de profils :
7 ML Engineers
7 ML Analysts
Le ML Analyst est un nouveau rôle que Gorgias a créé, à mi-chemin entre un Product Data Analyst et un ML Engineer :
Il se positionne entre le Product Manager et les autres profils techniques impliqués sur le projet (ML Engineers et Software Engineers).
Son rôle : comprendre la vision du PM, tester différentes options en modifiant l’architecture GenAI et le prompt system, créer ou modifier les APIs à intégrer et réaliser les AB tests pour valider l’impact.
“Ça peut être des anciens Data Analysts, Data Scientists ou Software Engineers qui souhaitent travailler sur ces sujets. On pense avoir besoin de plus de ML Analysts dans le futur.”
La stack agentique chez Gorgias
FastAPI
Kafka (pour le real-time)
Vertex
Temporal (pour tout ce qui est exécution durable)
BigQuery (beaucoup utilisé par les ML Analysts)
“On y log toutes les prédictions, ça permet aux ML Analysts de sampler des exemples intéressants à revoir ou d’identifier un ticket client où l’agent n’a pas bien répondu.”
Prompt Layer (pour le prompt registry)
“Je pense qu’on va migrer vers des outils plus matures dans un second temps. Mais ça fait le boulot pour l’instant, ça nous permet de versionner les prompts, ça nous donne une plateforme d’expérimentation.”
🎙 Le podcast avec Firas, Head of Machine Learning chez Gorgias
On aborde :
Le parcours de Firas de la Tunisie à Gorgias en passant par l’ENS
Le produit de Gorgias avant l’IA générative (cf. zoom)
Le contexte lorsque les LLM émergent (cf. zoom)
Les chatbots conversationnels qu’ils ont déployés (cf. zoom)
Le problème du “grapevine effect” et la refonte de l’architecture
L’organisation de l’équipe et le rôle du ML Analyst (cf. zoom)
La stack agentique chez Gorgias (cf. zoom)
Leurs 2 plus grosses difficultés : gérer la qualité des réponses et construire des feedback loops
Leurs prochaines étapes : multiplication des LLM as Judge, nouvelles fonctionnalités ML pour améliorer l’agent IA
“Le plus gros chantier, c’est la qualité des réponses et la récupération du feedback. Comment on continue à prendre en compte les feedbacks des marchands, même s'ils ne sont pas structurés, pour améliorer la qualité des réponses.”
Liens vers l’épisode : Apple Podcasts | YouTube | Spotify
📚 La ressource recommandée par Firas
Les articles d'Anthropic et d'OpenAI sur l'évaluation et le prompt engineering
“Je conseille beaucoup leurs articles sur comment faire de l'évaluation et comment écrire un bon prompt. C’est plutôt nous qui apprenons comment parler avec le LLM que le LLM qui apprend à résoudre notre problème.”
🎙 La masterclass sur la mise en place d’une stratégie GenAI qui passe à l’échelle et génère du ROI
Axel de Goursac est Partner AI Lead chez KPMG France. Avant ça, Axel était Directeur de la Data Science et de l’IA au sein du groupe LVMH.
On aborde :
La maturité actuelle des entreprises sur le déploiement de leur stratégie GenAI
La 1ère phase “top-down” : identifier les rôles et les tâches, et estimer le ROI et la faisabilité des projets
La 2ème phase “bottom-up” : réconcilier le ROI à un niveau global et créer un cadre de pilotage
La 3ème phase : délivrer les quick wins, passer à l’échelle, piloter et synchroniser les équipes
“Beaucoup d’entreprises ont déployé des modèles d’IA générative générique. Ce 1er niveau est bien adressé. En revanche, elles ont du mal à passer à l’étape d’après : transformer les fonctions (ventes, opérations…) et mettre en place des cas d’usage à forte valeur ajoutée.”
Liens vers l’épisode : Apple Podcasts | YouTube | Spotify