Scaler l'impact de l'équipe Data Engineering avec BlaBlaCar
#71 - Le zoom, le podcast avec Thibault et ses ressources préférées
Hello,
Bienvenue dans l’édition #71 de la newsletter DataGen ! 👋
L'agenda de la semaine :
🔍 Zoom sur la réorganisation de l’équipe Data Engineering
🎙 Le podcast avec Thibault, Data Engineering Manager chez BlaBlaCar
📚 Les ressources recommandées par Thibault
C’est parti !
📢 Cette édition est rendue possible par Popsink, la plateforme d'intégration et de traitement de données en temps réel
Fin 2023, j’ai enregistré un épisode sur les tendances data de 2024 avec Christophe Blefari (alias Blef).
Une des plus grosses tendances est le temps réel et il m’a parlé d’une nouvelle solution : Popsink, un ETL en temps réel.
J’ai invité Benjamin, le CEO, pour comprendre cette tendance. C’est l’épisode 128.
Le temps réel permet d’ouvrir des nouveaux cas d'usage bien sûr mais surtout de réduire les coûts (même si c’est contre-intuitif !).
J’ai eu envie d’aller plus loin et d’organiser un webinar de 30 minutes avec Benjamin le 3 septembre à 12h.
Au menu :
- Pourquoi le temps réel est une tendance en 2024 ?
- A quoi ressemble une stack data avec du temps réel ?
- Une demo en live d'une synchronisation postgre, hubspot et bigquery
Et vous pourrez poser vos questions en live. 🤗
Lien pour s’inscrire : ici
🔍 Zoom sur la réorganisation de l’équipe Data Engineering
Ce zoom est tiré de mon échange avec Thibault, Data Engineering Manager chez BlaBlaCar, la plateforme de transports partagés (voiture et bus) leader en Europe avec 20 millions d’utilisateurs en France.
Les 3 problèmes liés à une équipe Data centralisée
Initialement, tous les Data Engineers étaient dans une même équipe centralisée.
“L’équipe Data globale était organisée comme ça. On retrouvait également une équipe Data Analyse, une équipe Data Science…”
Cette organisation a généré 3 problèmes :
1) Les stakeholders avaient du mal à identifier le bon interlocuteur data
“Quand un stakeholder avait un besoin : il allait voir un Data Analyst, si celui-ci n'avait pas les données, il allait voir les Data Engineers pour qu’ils mettent à disposition les données. C’était le stakeholder qui se retrouvait à parcourir toutes les couches de notre organisation ce qui n’était pas efficace.”
2) L’équipe Data Engineering avait du mal à prioriser les demandes
“L’équipe centralisée recevait les demandes de toute l’entreprise. C'était extrêmement compliqué de savoir ce qu’il fallait prioriser entre une demande des équipes Marketing, Conducteurs ou Passagers.”
3) L’équipe Data Engineering était trop éloignée des métiers pour comprendre finement l’usage des données
“On s'embarquait dans des projets d'amélioration et de nettoyage de certaines pipelines dont le résultat n'était pas aligné avec ce que voulaient les stakeholders parce qu'on connaissait mal leurs besoins.”
La nouvelle organisation et comment elle résout ces problèmes
L’équipe Data globale chez BlaBlaCar a opéré une réorganisation inspirée du Data Mesh : les équipes Data ont été alignées avec les Business Units de l'entreprise (ex : Marketing, Passagers, Conducteurs).
“Aujourd'hui, on a 50 personnes en Data réparties dans 7 équipes, toutes centralisées sous un même VP Data. Dans chaque équipe Data rattachée à une Business Unit, on retrouve tous les profils nécessaires : Data Analyst, Data Engineer, Data Scientist, ML Engineer…”
Cette réorganisation permet d’adresser les 3 problèmes identifiés au départ :
1) Maintenant, il y a une équipe Data pluridisciplinaire qui va répondre à tous les besoins d’un stakeholder (Data Analyse, Data Science ou Data Engineering)
“Il toque à un seul endroit.”
2) La priorisation se fait entre les stakeholders d’un même domaine (ex : Marketing) et donc la discussion est beaucoup plus rapide
“Au lieu d’avoir 10 stakeholders du Marketing à la Finance en passant par le Produit, avec lesquels il faut valider la priorisation de tous les sujets Data, j’en ai 2 ou 3.”
3) Chaque équipe a un seul périmètre ce qui réduit la complexité métier à absorber et permet de mieux comprendre l’usage des données
“Comme toutes les compétences sont réunies au sein de la même équipe, ils se parlent beaucoup plus entre eux. Donc concrètement, les Data Engineers parlent aux Data Analysts et sont plus proches de l’usage des données.”
🎙 Le podcast avec Thibault, Data Engineering Manager chez BlaBlaCar
On aborde également :
Son parcours et le passage du back-end à la Data
Le contexte autour de la réorganisation
La nouvelle organisation plus en détail
L’adaptation de la stack à la nouvelle orga avec dbt
Les prochaines étapes pour l’équipe Data Engineering
Liens vers l’épisode : Apple Podcasts | YouTube | Spotify | Deezer
📚 Les ressources recommandées par Thibault
An Elegant Puzzle de Will Larson
“C'est un ancien de chez Uber qui parle de sa pratique de management dans un contexte assez particulier qui est l'hyper croissance d'Uber. C'est très concis. Il y a plein de points très intéressants et applicables.”
Le podcast Le code a changé
“C'est un profil non technique qui parle de sujets techniques et qui apporte un éclairage intéressant sur plein de problématiques actuelles comme l'IA par exemple. C’est rafraichissant je trouve.”