Was ist dbt?
Das Data Build Tool (dbt) ist eine Software, die in einem ELT (Extract, Load und Transform)-Prozess den Schritt der Transformation übernimmt. Dabei wird dbt mit dem Data-Warehouse verknüpft und kann, ausgehend von den Quelldaten, den restlichen Aufbau der Datenbank bewerkstelligen und die Modellierung der Daten umsetzen. dbt ist aktuell DAS Open Source Programm zur Datentransformation und bringt viele Software Engineering-Praktiken in die Datenwelt. Es ermöglicht eine reibungslose Zusammenarbeit innerhalb der Datenteams und darüber hinaus.
Wir, das Team von Hopmann Marketing Analytics, sind kompetente dbt Berater und bauen unser Wissen durch vielfältige Projekte in diesem Bereich stetig aus. Gerne beraten wir Sie umfassend – von der Evaluierung über die Implementierung der Software bis hin zu Schulungen.
Unsere dbt Leistungen
Evaluierung der Software
Wir beraten Sie gerne bei der Evaluierung, ob sich eine Einführung von dbt in Ihrem Unternehmen lohnt.
Implementierung der Software
Wir kümmern uns gerne um die komplette Implementierung der Software und führen kleine Workshops durch, bei denen wir Ihnen weitere Potenziale von dbt in Ihrem Unternehmen aufzeigen.
Schulungen
Wir bieten individuell gestaltete Trainings an, wie Sie dbt effektiv einsetzen können – von der erstmaligen Benutzung der Software bis hin zum Aufdecken von Optimierungspotenzialen durch bereits in Ihrem Unternehmen gesammelte Erfahrungen mit dem Tool.
dbt - Vorteile im Überblick
Versionskontrolle mit CI/CD
dbt lässt sich sehr gut in der Cloud organisieren und nutzt alle Vorteile von Git. Dies ermöglicht eine versionskontrollierte Veröffentlichung von Features und eine einfache Koordination innerhalb des Teams mit Pull Requests, Branches, Issues und Release Versions. Darüber hinaus liefert dbt die Möglichkeit einer persönlichen Development-Umgebung, in der Änderungen zuerst getestet werden können, bevor sie in die Produktions-Umgebung übernommen werden.
Programmatische Erweiterung von SQL
dbt nutzt eine Mischung aus SQL, um Modelle zu bauen, YAML zur Konfiguration und Jinja, um SQL um weitere Funktionen zu erweitern. Dies sorgt für einen in der Basis sehr einfachen Aufbau, der wenig Vorwissen benötigt, um dbt sinnvoll zu betreiben und auf der anderen Seite eine fast unbeschränkte Konfigurierbarkeit. dbt macht es damit auch möglich, das DRY Prinzip anzuwenden, nachdem man einen Code der in logisch voneinander getrennten Elementen verwendet wird, möglichst nur an einer Stelle definiert und diesen bei Änderungen auch nur an einer Stelle modifizieren muss.
Testfunktionalität
Das Testen von Daten und Transformationen gewinnt immer mehr an Wichtigkeit, um sich der Qualität der bereitgestellten Daten sicher sein zu können. dbt stellt hierfür eine Reihe von Möglichkeiten zur Verfügung, um Fehler schon zu erkennen, bevor sie beim Nutzer auftauchen – sei es wegen fehlerhafter Transformationen oder wegen fehlerhafter Quelldaten.
Eingebaute Dokumentation
Um die Dokumentation möglichst aktuell zu halten, lebt die Dokumentation in dbt direkt neben den Transformationen. Diese Informationen können dann auf einer eigenen Seite dargestellt und mit vielen Metainformationen angereichert werden. Unter anderem erstellt dbt selbständig einen Lineage Graph, der die Abhängigkeiten zwischen den Transformationen darstellt.
Modular erweiterbar mit Packages
Es gibt einen eigenen Hub, auf dem Packages bereitgestellt werden, die von der Community, den Machern von dbt oder verschiedenen anderen Anbietern zu Verfügung gestellt werden. Diese stellen beispielsweise eigene Tests, datenbankübergreifende Syntax, Logging oder ganze Transformationen für häufig genutzte Datenquellen zur Verfügung.