6 insights GenAI issus de la mise en production de 50+ modèles
#76 - Le zoom, le podcast avec Antoine et sa ressource préférée
Hello,
Bienvenue dans l’édition #76 de la newsletter DataGen ! 👋
L'agenda de la semaine :
🔍 6 insights GenAI issus de la mise en production de 50+ modèles
🎙 Le podcast avec Antoine, CTO d’Ovrsea
📚 La ressource recommandée par Antoine
🎙 Retour sur le rachat de Talend par Qlik
C’est parti !
🔍 6 insights GenAI issus de la mise en production de 50+ modèles
Ce zoom est tiré de mon échange avec Antoine Sauvage, CTO chez Ovrsea, la startup qui propose un service de transport de containers nouvelle génération pour les entreprises. Son équipe a mis plus de 50 modèles d’IA génératives en production, voici quelques insights issus de leur expérience :
1) La révolution pour eux vient de la facilité à transformer de la donnée non structurée en donnée structurée
Dans le secteur du service de transport de containers, il y a des milliers d’informations qui circulent chaque jour (ex : date de départ d’un bateau, localisation, délai de retard…) et sous différents formats (mail, capture d’écran...).
Ça rend l’automatisation du traitement de ces informations difficile.
Historiquement, le métier devait les traiter manuellement (ex : récupérer l’information pour la mettre dans un spreadsheet, prévenir le client).
Désormais, les GenAI permettent de les collecter automatiquement (ex : '“trouve dans ce texte ou cette image la date de départ et range-la dans un spreadsheet”).
Ces petites automatisations mises bout à bout font gagner beaucoup de temps au métier.
2) La baisse du coût d’un projet IA rend le ROI positif sur ces petits projets
Le coût de ce type de petits projets avec un modèle de NLP ou de Computer Vision traditionnel aurait été trop élevé pour avoir un ROI positif (ex : 10 minutes gagnées par jour vs 50K€ pour un POC avec 3 Data Scientists qui travaillent pendant 3 mois).
Avec ChatGPT, le ROI devient positif (ex : 1K€ pour un POC avec un Software Engineer qui travaille pendant une journée).
Donc ça vaut le coup de mettre en place un modèle car le coût de développement est très bas et le déploiement rapide (ex : quelques prompts et des appels API à OpenAI).
3) La technologie est utilisable par des Software Engineers : les projets GenAI chez Ovrsea sont 100% gérés par des Software Engineers (pas de profils Data pour l’instant)
La compétence principale pour utiliser ChatGPT selon Antoine est de savoir déployer en production, d’utiliser une API de manière fiable et de monitorer un projet Tech. Ce sont essentiellement des compétences de Software Engineering.
4) ChatGPT n’est pas bon pour résoudre des problèmes complexes, il faut le considérer comme un stagiaire de 3ème
Au départ, Antoine et son équipe pensaient qu’ils utiliseraient les GenAI sur des tâches à forte valeur ajoutée (ex : répondre aux clients…).
Finalement, ils le positionnent uniquement sur des tâches à faible valeur ajoutée (ex : “dans cet email, il y a un prix, peux-tu le trouver, l’extraire, le mettre au format prix avec la devise et le ranger dans un spreadsheet”).
Cependant, l’accumulation de ces petites automatisations fait gagner plus de 50% de productivité au métier.
5) Aujourd’hui, ils utilisent en majorité ChatGPT mais ils utilisent également d’autres fournisseurs tels que Mistral AI
Globalement, ils trouvent actuellement que ChatGPT est plus performant.
Cependant, ils vont passer par un autre fournisseur lorsqu’il y a un problème de downtime avec OpenAI (ex : que l’API ne répond plus), ce qui arrive.
Par ailleurs, étant donné la vitesse à laquelle bouge le secteur, c’est aussi une manière de réduire les risques et d’être dans les starting blocks si un autre fournisseur livre un meilleur modèle dans les 6 prochains mois.
6) Quand ChatGPT se trompe, il ne le dit pas, c’est un problème qu’ils n’ont pas encore résolu de manière satisfaisante
Antoine et son équipe ont tout essayé : “Si tu ne sais pas, ne dis rien. Si tu ne sais pas, ne dis vraiment rien ! …”
Ils ne savent pas pourquoi mais parfois, ChatGPT continue d’inventer des réponses (aka “d’halluciner”).
Sur un autre sujet, actuellement, ils travaillent sur un modèle qui doit répondre “oui” ou “non” et parfois, il met une majuscule ou il met un “.” sans qu’on lui ait demandé...
Antoine et son équipe n’ont pas encore trouver de solution satisfaisante.
🎙 Le podcast avec Antoine, CTO d’Ovrsea
On aborde également :
Comment ChatGPT a révolutionné leur métier
La composition de leur stack GenAI
L’organisation de l’équipe sur les projets GenAI
L’opportunité d’intégrer les GenAI dans toute l’entreprise en les couplant avec des outils no code (ex : Make, Zappier…)
L’impact de la GenAI sur le marché des Software Engineers et des Data Scientists
Liens vers l’épisode : Apple Podcasts | YouTube | Spotify | Deezer
“Les projets GPT sont exclusivement gérés par des Software Engineers chez nous. Il n'y a pas du tout de Data Scientists dans la boucle.”
📚 La ressource recommandée par Antoine
Le livre Accelerate: The Science Behind Devops de Nicole Forsgren
“C'est un livre qui traite de la qualité du software : comment faire du software de qualité en production. Ça parle énormément de ce qu'on appelle la boucle de rétroaction et de comment réduire cette boucle pour innover plus rapidement.”
🎙 Retour sur le rachat de Talend par Qlik
Vous aviez vu que Talend avait été racheté par Qlik ?
Charles Clément est un expert data intégration chez Qlik, le nouveau géant de la data. Il est venu en parler sur le podcast.
On aborde :
La vision derrière le rachat de Talend
Les avantages pour la communauté : un seul interlocuteur, écosystème unifié…
Les “killer features” de Qlik sur l’Intégration et l’Analytics
L’avis de Charles sur la Modern Data Stack et l’impact des GenIA sur Qlik.
Liens vers l’épisode : Apple Podcasts | YouTube | Spotify | Deezer
“Pour un Head of Data aujourd'hui, l'avantage principal va être d'avoir un seul interlocuteur et un écosystème unifié qui est plus facile à utiliser pour ses équipes.”
👋 DataGen, c’est aussi un Collectif de freelances data issus des plus belles boîtes
Grâce au podcast, on a fédéré les meilleurs freelances data du marché.
Si tu as un projet data, on a l'équipe qu'il te faut : Head of Data, Data Analyst, Data Engineer, Data Scientist, etc.
En savoir plus : ici