Qover : Structurer son Data Warehouse & modéliser ses données (dbt, Médaillon…)
#128 - Le zoom, le podcast avec Grégoire et sa ressource préférée
Hello,
Bienvenue dans l'édition #128 de la newsletter DataGen ! 👋
L'agenda de la semaine :
🔍 Zoom sur la structuration du Data Warehouse chez Qover
🎙 Le podcast avec Grégoire, Head of Data chez Qover
📚 La ressource recommandée par Grégoire
📆 Kick-off de la prochaine session du bootcamp Analytics Engineering
C’est parti !
🔍 Zoom sur la structuration du Data Warehouse chez Qover - 3 min
Ce zoom est tiré de mon échange avec Grégoire, Head of Data chez Qover, la startup belge de l'insurtech qui a levé 70 millions d'euros et qui compte parmi ses clients Revolut, Mastercard et Qonto. Ils sont spécialisés dans l'Embedded Insurance Orchestration et permettent à leurs clients d'intégrer facilement des produits d'assurance dans leurs offres.
Le contexte de départ
Contrairement à beaucoup d'équipes Data qui sont en support des équipes métiers, l'équipe Data de Qover est directement responsable des flux de données avec leurs partenaires : assurances et clients (ex : banques).
Cette spécificité implique une exigence très élevée en termes de qualité de données.
“Étant donné que les données sont envoyées à l'extérieur et qu'elles sont utilisées pour faire de la facturation ou de la gestion de sinistres, on doit avoir un niveau d'attente très élevé par rapport à la qualité des données.”
Les 3 étapes clés
La mise en place de la stack technique
Qover a opté pour une approche standard avec :
Airbyte pour l'ingestion
dbt pour la transformation
BigQuery pour le Data Warehouse
Looker pour la visualisation
"C’était facile de choisir Airbyte, dbt ou BigQuery car il n'y a pas tellement d'acteurs sur ces espaces-là. Par contre, le choix de l'outil de BI a été difficile car il y a énormément de possibilités. On a finalement choisi Looker pour sa couche sémantique.”
La mise en place d’une architecture Médaillon dans le Data Warehouse
L’approche préconise de structurer ses données en 3 couches :
Bronze : données brutes
Silver : données nettoyées
Gold : données préparées exposées aux applications
"Dans notre couche Gold, on suit une approche Mart où une table est égale à un livrable, que ça soit de l'invoice, du reporting ou un dashboard. Ça nous permet de mettre en place des tests précis."
La rationalisation des modèles dans dbt et du nombre de dashboards
Avec plus de 1000 modèles pour une équipe de 6 personnes, l'enjeu était de rationnaliser et standardiser au maximum les modèles.
"Je pense que ça a été notre challenge numéro un."
Ils ont :
Créé des tables centrales communes
“On doit extraire les facteurs qui sont communs aux différents produits (ex : assurance voiture, voyage…). Et on va construire quelques tables centrales qui vont venir alimenter tous nos livrables.”
Réduit le nombre de dasboards
“Avant, on avait un dashboard par client, c'était difficilement maintenable. Aujourd'hui, on a un dashboard unique qui est géré en termes d'accès avec du Row Level Security. Chaque client a accès uniquement à ses données. Et en termes de maintenance, c'est beaucoup plus simple.”
Mis en place des conventions de nommage
“Ce sont des choses bêtes : mettre les préfixes, avoir ID ou date toujours à la fin, des noms de colonne toujours identiques d’une table à l’autre… Mon conseil, c'est de se renseigner avant de développer un Data Warehouse. Parce que le coût d'un refactoring sur un Data Warehouse est très élevé. Il faut faire les choses bien du premier coup.”
🎙 Le podcast avec Grégoire, Head of Data chez Qover
On aborde :
Son parcours de la recherche en physique à Head of Data
Le contexte de départ (cf. zoom)
Les 3 étapes clés (cf. zoom)
Les plus grosses difficultés : conventions, CI/CD, tests
L’organisation de l’équipe Data
Les prochaines étapes : Self-Service pour les partenaires
“Ce qui est hyper important, même si ça peut sembler un peu bête, c'est les conventions sur les noms, tant des colonnes que des modèles.”
Liens vers l'épisode : Apple Podcasts | YouTube | Spotify
📚 La ressource recommandée par Grégoire
La chaîne YouTube Mehdio Data.tv de Mehdi Ouazza
"Il publie pas mal de contenu sur LinkedIn également. Je trouve que c'est du contenu de grande qualité, hyper bien réalisé, avec de la technique mais aussi beaucoup d'humour."
📆 Kick-off de la prochaine session du bootcamp Analytics Engineering le 18/11
Ça fera bientôt 1 an qu’on a lancé le bootcamp en Analytics Engineering avec DataBird.
On a dépassé les 100 alumni et énormément d’entre eux ont trouvé un poste en Analytics Engineering. C’est le cas notamment de Lara, Maud et Adil. 🤩
La prochaine session démarre le 18 novembre.
Si vous souhaitez en savoir plus, vous pouvez écouter l’épisode qu’on a enregistré avec le co-fondateur de DataBird sur la tendance de l’Analytics Engineering et sur le programme du bootcamp.
Liens vers l’épisode : Apple Podcasts | YouTube | Spotify | Deezer
Si vous êtes intéressés, vous pouvez télécharger le programme détaillé ci-dessous.
Et pour candidater, c’est par ici.
Pour rappel, le bootcamp est à temps partiel pendant 6 semaines (10h / semaine), peut être suivi en parallèle de son job et est finançable via CPF / OPCO.