Qonto : Adopter une approche Analytics Engineering & Self-Service
#97 - Le zoom, le podcast avec Alice et sa ressource préférée
Hello,
Bienvenue dans l’édition #97 de la newsletter DataGen ! 👋
L'agenda de la semaine :
🔍 Zoom sur l’approche Analytics Engineering chez Qonto
🎙 Le podcast avec Alice, Lead Analytics Engineer chez Qonto
📚 La ressource recommandée par Alice
🎙 Le podcast avec Snowflake, la plateforme Data & IA
C’est parti !
❤️ Cette édition est rendue possible par KPC, le cabinet de conseil spécialisé sur la Data et l’IA
J’ai rencontré Mickael qui est directeur Data & IA chez eux et il est venu nous expliquer comment mettre en place un Data Office 4.0 sur le podcast.
D’ailleurs, ils ont également rédigé un manifesto qui reprend les 5 piliers clés. Pour le recevoir, il suffit de s’inscrire ici.
Et si vous souhaitez vous faire accompagner par Mickael et les experts de KPC, contactez-le de ma part : mickael.kuentz@kpconsulting.fr.
🔍 Zoom sur l’approche Analytics Engineering chez Qonto - 3 min
Ce zoom est tiré de mon échange avec Alice, Lead Analytics Engineer chez Qonto, la solution bancaire en ligne qui permet aux PME et aux indépendants de gérer leur quotidien bancaire, facturer leurs clients en un clic et effectuer leur comptabilité. Ils ont levé 622M€ depuis leur création et comptent aujourd’hui 1 600 collaborateurs et 500 000 clients en Europe.
L’organisation et la mission de l’équipe Analytics Engineering
L’équipe Analytics Engineering fait partie de l’équipe Data Platform (Data Engineers et Analytics Engineers). Le rôle de l’équipe Analytics Engineering est de mettre à disposition des modèles de données pour toutes les équipes chez Qonto.
“On travaille avec l’équipe Data Engineering et l’équipe Business Intelligence pour mettre à disposition les bons modèles.”
Les 5 étapes de leur process Analytics Engineering
1) Comprendre le besoin et les utilisateurs
“On s’assure qu’on travaille sur les sujets prioritaires, que le modèle sera utilisé et qu’il permettra à l’équipe concernée de prendre des décisions.”
2) Identifier qui sont les producteurs de la donnée
“C’est important de savoir quelles sont nos contraintes et surtout qui contacter en cas de problème sur cette donnée.”
3) Modéliser la donnée
“Il y a une 1ère étape de définition du schéma du modèle qu’on fait généralement en équipe. L’objectif est de valider comment il va s’insérer dans le modèle global. Ensuite, on construit le modèle via dbt dans le Data Warehouse (Snowflake).”
4) Documenter le modèle
“On y passe beaucoup de temps pour que le modèle soit utilisable en Self-Service. N’importe qui dans l’entreprise qui aurait besoin de cette donnée demain doit pouvoir l’utiliser.”
5) Communiquer
“Ce qui est le plus important pour nous, c’est que le modèle soit adopté et qu’il apporte de la valeur.”
Les 2 plus gros challenges de l’équipe
1) Bien comprendre le process Business
“C’est vraiment la partie en amont qui prend le plus de temps : bien comprendre le process Business qu'on modélise, bien comprendre qui va l'utiliser et être sûr qu'on construit quelque chose de scalable qui sera réutilisable. La partie déploiement technique ce n'est pas ce qui prend le plus de temps.”
2/ Mettre en place une approche Self-Service
"On avait beaucoup de rapports à gérer qui nous prenaient du temps au quotidien. On a décidé de les automatiser pour que les équipes puissent récupérer ces rapports en Self-Service sans contacter un Data Engineer ou un Analytics Engineer.”
🎙 Le podcast avec Alice, Lead Analytics Engineer chez Qonto
On aborde :
L’organisation et la mission de l’équipe Analytics Engineering (cf. zoom)
Le process Analytics Engineering d’une demande à la livraison (cf.zoom)
Les Data Contracts V0 chez Qonto
Analytics Engineering vs Business Intelligence
La stack Analytics Engineering
La mise en place du Self-Service : contexte, étapes et difficultés (cf. zoom)
Les prochaines étapes : automatisation, Data Contracts…
“Notre outil principal, c'est dbt pour toute la partie modèle, on utilise Snowflake pour le Data Warehouse et on a Airflow en scheduler.”
Liens vers l’épisode : Apple Podcasts | YouTube | Spotify | Deezer
📚 La ressource recommandée par Alice
“Les blogs techniques des entreprises m'ont beaucoup servi pour m’améliorer. Par exemple, chez Qonto dans notre blog technique, il y a pas mal d'articles qui sont très intéressants sur des sujets data mais aussi plus spécifiques comme sur le développement, le back-end, etc.”
🎙 Le podcast avec Snowflake, la plateforme Data & IA
Jade Le Van est Principal Sales Engineer chez Snowflake, la plateforme Data & IA dont tout le monde parle sur le podcast (Qonto, Ledger, Spendesk…).
On aborde :
La genèse de Snowflake (une plateforme pour l’Analytics & l’IA dans le Cloud)
Pourquoi elle est adoptée massivement (simplicité & rapidité pour activer la donnée)
Les fonctionnalités IA et leurs convictions (ex : faciliter l’usage de petits modèles moins gourmands)
La rivalité avec Databricks, les nouvelles fonctionnalités d’ingestion, le format Iceberg
“Snowflake a été créé en 2012 par deux Français qui étaient des ingénieurs spécialisés sur les moteurs de bases de données : Benoît et Thierry. Et ils avaient comme vision dès le départ de créer une plateforme de données dans le cloud qui permette de gérer tous les cas d'usage autour de la data et de l’IA.”
Liens vers l’épisode : Apple Podcasts | YouTube | Spotify | Deezer