In dieser Session werden wir eine Einführung in den modernen Data Stack geben, dabei die Rollen des Data Engineers und des Analytics Engineers beleuchten und aufzeigen, wie diese Disziplinen die Datenanalyse und -verarbeitung in Unternehmen revolutionieren.

Sie lernen, wie ein dbt-Projekt initialisiert wird, inklusive der Erstellung und Organisation von .yml und .sql Dateien, der Integration in ein Data Warehouse und der Implementierung von Versionskontrolle zur Sicherung und Koordination der Projektentwicklung.

Diese Session deckt die Grundlagen von Git ab, einschließlich der Einrichtung und Verwaltung verschiedener Umgebungen, der Arbeit mit Feature Branches und der Durchführung von Code Reviews, um eine hohe Codequalität und effektive Teamzusammenarbeit zu gewährleisten.

Wir tauchen tief in die Grundlagen von dbt ein, erkunden Modelle, Quellen und Modularität und diskutieren, wie Tests und Materialisierungen effektiv genutzt werden können, um leistungsstarke, wiederverwendbare und wartbare Datenpipelines zu bauen.

In dieser Session erlernen Sie den Einsatz von Jinja-Templates und Macros innerhalb von dbt, um dynamische Logik in Ihren Code einzuführen. Zudem wird die Verwendung und Entwicklung eigener Packages behandelt, um Wiederverwendbarkeit und Modularität zu erhöhen.

Diese Session vertieft das Verständnis für fortgeschrittene Materialisierungsoptionen in dbt, insbesondere die Implementierung und Optimierung von inkrementellen Materialisierungen. Sie lernen, wie Sie große Datenmengen effizient verarbeiten und dabei die Laufzeit und Ressourcennutzung Ihrer Projekte optimieren können.

Sie werden in die erweiterten Testing-Techniken eingeführt, die in dbt verfügbar sind, einschließlich benutzerdefinierter Tests und der Nutzung von Macros zur Erstellung komplexer Testlogiken. Diese Kenntnisse helfen Ihnen, die Datenintegrität und -qualität in dynamischen und komplexen Datenumgebungen sicherzustellen.

In der letzten Session des Tages konzentrieren wir uns auf das Einrichten von Notifications und das Monitoring von dbt-Projekten. Durch die Verwendung von APIs, Webhooks und automatisierten Benachrichtigungssystemen erlernen Sie, wie Sie den Zustand Ihrer Datenpipelines effektiv überwachen und bei Bedarf reagieren können.

In dieser Session besprechen wir die Best Practices und Strategien für das erfolgreiche Deployment von dbt-Projekten. Sie lernen, wie man dbt-Projekte sicher in Produktionsumgebungen überführt, einschließlich der Verwendung von CI/CD-Pipelines und der Verwaltung von Versionskontrollen.

Diese Session konzentriert sich auf die Datenmodellierungstechniken und die Modularisierung innerhalb von dbt. Wir erkunden, wie man effektive, wiederverwendbare und skalierbare Datenmodelle erstellt, die die Grundlage für Analyse und Berichterstattung in einer Organisation bilden.

Sie lernen, wie Sie Python-Modelle in dbt integrieren, um komplexe Datenverarbeitungslogik zu implementieren, die über traditionelle SQL-Operationen hinausgeht. Diese Fähigkeiten erweitern das Spektrum der datenwissenschaftlichen Anwendungen, die mit dbt realisierbar sind.

In dieser Session führen wir dbt Mesh ein, eine Methode zur Vernetzung und zum Management von Abhängigkeiten in großen dbt-Projekten. Sie erfahren, wie dbt Mesh zur Optimierung der Projektstruktur und zur Verbesserung der Zusammenarbeit zwischen verschiedenen Teams eingesetzt wird.

Abschließend betrachten wir die Implementierung einer semantischen Schicht in dbt, die als Brücke zwischen rohen Datenmodellen und Endbenutzeranwendungen dient. Wir diskutieren, wie diese Schicht die Datenzugänglichkeit und -nutzung vereinfacht und gleichzeitig die Datenintegrität erhält.