Les 5 avantages de la Modern Data Stack
#52 - Le zoom, le podcast, les ressources de Matthieu
Hello,
Bienvenue dans l’édition #52 de la newsletter DataGen ! 👋
L'agenda de la semaine :
🔍 Zoom sur les 5 avantages de la Modern Data Stack - 3 min
🎙 Le podcast avec Matthieu, expert Data Engineering et Modern Data Stack
📚 Les ressources recommandées par Matthieu
C’est parti !
❤️ Merci à notre partenaire qui permet à la newsletter de rester gratuite
Ne ratez pas La Matinale Data & IA le 7 décembre sur les IA Génératives.
Des Chief Data & AI Officers, des experts de Business & Decision, Microsoft, Dataïku, Snowflake, etc. partageront leur retour d'expérience.
Lien pour s’inscrire : ici.
🔍 Zoom sur les 5 avantages de la Modern Data Stack - 3 min
Ce zoom est tiré de mon échange avec Matthieu qui est un expert en Data Engineering et qui a lancé Modeo, un cabinet de conseil spécialisé sur l’implémentation de Modern Data Stack.
1) La maintenabilité
Ici, par maintenabilité, on entend le fait que ce soit facile pour l’équipe Data de faire fonctionner la stack data : ajouter une source de donnée, réaliser une transformation, corriger des bugs sur des pipelines de données, etc.
La spécificité de la Modern Data Stack est qu’elle est composée de 6 briques bien distinctes (voir capture ci-dessous).
Sur les anciennes architectures data, on retrouvait souvent une grosse brique un peu “boîte noire” qui essayait de tout faire et qui était très difficile à comprendre.
C’est plus simple pour l’équipe Data de comprendre comment chaque brique fonctionne avec ce nouveau modèle.
“Il y a par exemple un système de monitoring par brique qui te permet de suivre ce qui se passe sur toute la chaîne : ingestion, transformation, …”
2) La vitesse de mise en place
L’un des enjeux majeurs des départements Data est d’accélérer la vitesse de déploiement des projets data.
Avec les outils qui composent une Modern Data Stack, il est possible de mettre en place un cas d’usage data très rapidement en utilisant que des outils qui nécessitent du SQL et des clics bouton.
“Tu peux mettre en place tes briques d’ingestion, de transformation, de stockage et de data visualization en un rien de temps.”
3) L’évolutivité
Ici, on entend le fait de faire évoluer le design de la stack data, par exemple :
- Passer à une nouvelle version sur une brique (passer de Airflow 1 à Airflow 2).
- Changer d’outil sur une brique (migrer de Tableau à Looker).
Historiquement, sur les anciennes plateformes data, comme les briques étaient entremêlées et qu’on ne comprenait pas bien comment ça fonctionnait, c’était plus compliqué d’entreprendre des évolutions.
Avec la Modern Data Stack, les briques sont plus indépendantes les unes des autres et donc on peut les remplacer ou les améliorer sans tout casser.
4) La scalabilité
Tous ces outils sont construits pour scaler. On entend ici qu’il n’y aura pas de bugs permanents dès que les volumes de données ou de requêtes vont augmenter.
“Par ailleurs, ce sont souvent des solutions managées, c'est-à-dire que l’équipe Data n’aura pas à gérer l'hébergement de ces solutions, ce qui peut être le cas avec des outils traditionnels.”
5) Le coût (beaucoup) plus bas
Les développements sont plus rapides et donc une équipe réduite peut s’en occuper. Par ailleurs, on a besoin de moins de profils Data Engineers qui sont chers et difficiles à recruter.
“Par ailleurs, il y a un suivi des coûts très bien fait sur tous ces outils qui permet de garder le contrôle sur ce qu’on consomme au global.”
🎙 Le podcast avec Matthieu, expert Data Engineering et Modern Data Stack
On aborde également :
La différence entre une stack traditionnelle et une Modern Data Stack,
Les étapes pour la mettre en place : Audit, Data Warehouse, Ingestion, Orchestration, Transformation, etc.
Les difficultés lorsqu’on met en place une stack data : la mesure de l’impact et de l’usage,
Les conseils de Matthieu pour mettre en place adopter une Modern Data Stack.
Liens vers l’épisode : Apple Podcasts | YouTube | Spotify | Deezer
📚 Les ressources recommandées par Matthieu
“Tu découvres les problématiques data de plein de boîtes et tu as énormément d'articles super intéressants qui passent.”
“Les intervenants sont toujours hyper pertinents. Les sujets sont techniques mais super intéressants.”
”Ils partagent plein de best practices sur comment développer ses projets data et notamment stack.”
Crystal clear as always @Robin ;)