On compare dbt & SQLMesh avec Christophe Blefari (aka Blef)
#105 - Le zoom, le podcast avec Blef, le prochain bootcamp Analytics Engineer
Hello,
Bienvenue dans l'édition #105 de la newsletter DataGen ! 👋
L'agenda de la semaine :
🔍 Zoom sur la comparaison dbt vs SQLMesh
🎙 Le podcast avec Christophe (aka Blef)
📆 Prochain bootcamp Analytics Engineer le 11 mars
🎙 Masterclass sur le lancement d’une Data Academy
C’est parti !
📢 Vous envisagez de mettre en place un Data Catalog ?
J’ai reçu sur le podcast Rachid Tighremt, expert Data Governance & Architecture et fondateur de Layer Data, le cabinet de conseil spécialisé sur la gouvernance et la qualité des données.
Ils accompagnent les plus grandes multinationales (LVMH, Coca-Cola ou encore EDF) et ont réalisé une multitude de projets sur toutes les technologies.
Rachid est venu nous expliquer comment mettre en place un Data Catalog sur le podcast : épisode 185. C’est une masterclass !
Si vous souhaitez réussir votre projet Data Catalog, contactez Rachid de ma part : rtighremt@layer-data.com et fblaise@layer-data.com
Un immense merci à Layer Data de sponsoriser DataGen. ❤️
🔍 Zoom sur la comparaison dbt vs SQLMesh - 3 min
Ce zoom est tiré de mon échange avec Christophe Blefari, auteur de la newsletter data la plus connue au sein de l’écosystème français (Blef.fr), co-fondateur de nao Labs et surtout selon moi l’un des plus gros experts data en France.
La mission initiale des 2 outils
Les deux solutions sont des orchestrateurs de requêtes SQL. Pour schématiser, ce sont des outils qui permettent de transformer les données dans le data warehouse via du SQL.
"Tu vas définir toutes les requêtes SQL qui permettent de créer ta modélisation de données et donc tes tables. Les outils vont comprendre les relations entre les requêtes SQL pour qu’elles s’orchestrent dans le bon ordre.”
Un positionnement différent
dbt cible les profils moins techniques avec une approche plus accessible.
"dbt est plus adapté aux profils un peu plus low tech qui ne sont pas forcément Data Engineers.”
SQLMesh cible des profils plus techniques, on manipule des concepts DevOps avancés.
"Ils ont un positionnement plus technique que dbt. Tu le vois d’ailleurs lorsque tu vas sur leur landing page, ça fait très DataOps.”
Les points forts de SQLMesh
L'équipe a identifié et corrigé plusieurs points de friction présents dans dbt :
Une syntaxe plus simple pour les requêtes
Un système d'incrémental repensé
Une documentation intégrée directement dans les fichiers SQL
"Dans SQLMesh, tout se passe dans le même fichier. Tu n’as pas besoin de changer de fichier. Tu peux documenter une colonne à l'endroit où tu écris la colonne. C’est un point de friction connu des utilisateurs de dbt.”
L'adoption et la communauté
dbt bénéficie d'une communauté beaucoup plus large et établie.
"Si tu compares les deux écosystèmes, dbt c'est 99% en terme de taille et de volume d'articles, de retours d’expérience…"
SQLMesh est encore en phase de croissance.
"Il y a plein de gens qui sont en train de le tester mais je ne crois pas qu'il y ait déjà de grosses organisations qui aient migré vers l’outil."
Récapitulatif
🎙 Le podcast avec Christophe, aka Blef
On aborde :
La mission et le positionnement des deux outils (cf. zoom)
Les différences d'approche et de philosophie (cf. zoom)
La différence au niveau de l’expérience développeur
Les points forts de SQLMesh (cf. zoom)
La différence au niveau de l’adoption et de la communauté (cf. zoom)
La différence au niveau des coûts et des modèles économiques
L'évolution future des deux solutions
La rivalité naissante entre les fondateurs des deux outils
La nouvelle aventure de Blef avec nao Labs
"Je pense que dbt est en train de changer philosophiquement. Ils sont en train de devenir un outil qui ne fait pas que de l'orchestration mais aussi de la transformation depuis qu’ils ont annoncé qu’ils allaient supporter Iceberg.”
Liens vers l’épisode : Apple Podcasts | YouTube | Spotify | Deezer
📆 Prochain bootcamp Analytics Engineer le 11 mars
On a lancé le 1er bootcamp spécialisé sur l’Analytics Engineering en collaboration avec DataBird.
Le bootcamp permet à des profils Data Analysts déjà en poste de devenir Analytics Engineers ou Data Analysts “Full-Stack”.
Il est à temps partiel pendant 6 semaines (10h / semaine) et finançable via CPF / OPCO.
Pour en savoir plus, vous pouvez :
Écouter l’épisode qu’on a enregistré avec le Co-fondateur de DataBird : Devenir Analytics Engineer en 6 semaines
Découvrir le programme du bootcamp et prendre rendez-vous : Ici
🎙 Masterclass sur le lancement d’une Data Academy
Alexandre Miny de Tornaco est un expert de la formation data, il a d’ailleurs co-fondé le bootcamp Databird qui a déjà formé plus de 4000 personnes à la data.
On aborde :
Pourquoi lancer une Data Academy : avènement du Cloud, besoin de désengorger l’équipe data, rendre autonome le métier
Comment convaincre le Comex par l’exemple : identifier une première équipe et un use case à forte valeur ajoutée
Les principes d’un bon programme de formation data : personnalisation, mix théorie & pratique, temps long
Les phases clés : acculturation, formation outils (Business Intelligence), formation avancée pour les Data Champions (ex : SQL, Dataiku), validation des acquis.
“On va co-créer un cas d'usage. On va avoir la formation qui va être très pédagogique et ensuite un cas d'usage qui va permettre de mettre en application la formation.”
Liens vers l’épisode : Apple Podcasts | YouTube | Spotify | Deezer