Aufbau eines Marketing Data Stack
In diesem Marketing Data Stack Training im Rahmen der HMA Academy lernen Sie die wichtigsten Prozesse des Data Stack kennen: API-Abfragen, Datenorchestrierung, Datenmodellierung. Nur mit einer performanten und robusten Data Pipeline sind aussagekräftige Reportings überhaupt erst möglich. Wir vermitteln Ihnen in dem Workshop das nötige Hintergrundwissen und setzen die einzelnen Schritte in verständlichen Hands-On-Sessions um. An jedem Tag wird ein Modul des ETL-/ELT-Prozesses behandelt. Die Module bauen aufeinander auf, können aber auch einzeln belegt werden (Tag 1 und 2 und/oder Tag 3). Die Verwendung der folgenden Technologien steht im Fokus: Python, Apache Airflow, dbt.
3 Tage Training / Module auch einzeln buchbar / In unserem Schulungszentrum am Schliersee, in München oder Inhouse in Ihrem Unternehmen (auf Anfrage) / 3-8 Teilnehmer:innen / Geeignet für alle Fachbereiche und Branchen
Tag 1 (Modul 1)
Im Rahmen des ersten Moduls lernen Sie, wie Schnittstellen (APIs) aufgebaut sind und wie Sie mit entsprechenden Tools Ihre Daten sichten und abfragen können. Dies ist essenziell, um einen Überblick über Ihre Daten zu bekommen. Diese Vorbereitung hilft Ihnen, um im nächsten Schritt gezielter Abfragen schreiben zu können.
Beherrschen Sie das Rückgrat des RESTful-API-Designs, einer der beliebtesten Schnittstellen zum sicheren Austausch von Informationen über das Internet. Erfahren Sie, wie Sie RESTful-Dienste nutzen und mit ihnen arbeiten, um effiziente Daten-Pipelines aufzubauen.
Sie lernen mehr über JSON-Dateien: ein beliebtes, leicht lesbares und weithin unterstütztes textbasiertes Datenformat, das zum Speichern und Austauschen strukturierter Informationen verwendet wird. JSON-Dateien bestehen aus Schlüssel-Wert-Paaren und ermöglichen eine effiziente Datendarstellung in einem für Menschen lesbaren Format.
Am Ende dieses Moduls erwerben Sie Kenntnisse im Extrahieren von Daten über API-Abfragen und im effizienten Umgang mit Daten, die aus mehreren Anfragen abgerufen werden. Darüber hinaus erlernen Sie Fähigkeiten, diese Extraktionen nahtlos in Pandas-Datenrahmen zu konvertieren und Datentransformationen problemlos durchzuführen.
Tag 2 (Modul 2)
Sie lernen, einen effizienten und robusten ETL-Prozess aufzubauen, für den wir API-Daten als Datenquelle nutzen. Wir gehen darauf ein, wie Sie die Daten in einem S3 Bucket ablegen und anschließend in ein Snowflake Data Warehouse schreiben. Außerdem erfahren Sie, wie Sie mit dem Python-basierten Tool Apache Airflow Ihren Workflow automatisieren. Dabei wird auf Benutzeroberfläche sowie auf Architektur und Konfiguration eingegangen.
Zur Automatisierung des Workflows ist Apache Airflow das Tool der Wahl. Sie erhalten eine grundsätzliche Einführung in das Thema Datenorchestrierung und in den Aufbau von Apache Airflow. Anschließend lernen Sie die Navigation der Benutzeroberfläche und die grundlegenden Konzepte von Airflow kennen.
Für das erfolgreiche Deployment des Set-Ups ist die Einrichtung der notwendigen Zugriffsrechte nötig, damit wir in Snowflake auf die Daten zugreifen können. Dies passiert über eine Snowflake Storage Integration für den Zugriff auf das externe Storage Bucket.
Nachdem wir uns einen theoretischen Überblick über die Datenorchestrierung mit Airflow verschafft haben, geht es nun darum, den Code mit Airflow zu automatisieren. Dafür werden die notwendigen Bausteine in den Python Code integriert und getestet.
Für eine vollständige Automatisierung sind Scheduling und Alerting wichtige Bestandteile in Airflow. Wir zeigen Ihnen, wie Sie ein sogenanntes Schedule zur Ausführung Ihres DAGs schreiben und mit Hilfe von Alerting die Ausführung überwachen können.
Im letzten Teil werden alle Bausteine zusammengesetzt und die vollständige Implementierung in der Cloud-Umgebung findet statt.
Tag 3 (Modul 3)
dbt ist ein äußerst nützliches Tool und mittlerweile fester Bestandteil des Modern Data Stack! In diesem Seminar gehen wir auf die Grundlagen von dbt ein, die jede:r im Bereich Data Engineering kennen sollte. Dabei werden sowohl theoretische Hintergründe zur Datenmodellierung behandelt, als auch ein eigenes Hands-On dbt-Projekt erstellt.
Warum ist dbt so ein beliebtes Tool im Analytics Engineering? Welche Funktionen kann es übernehmen? Wie interagiert es mit anderen Tools? Diesen Fragen widmen wir uns im ersten Teil des Trainings.
Wir installieren dbt und richten initial ein dbt-Projekt ein. Anschließend erhalten Sie einen Überblick über die Struktur und welche Konfigurationen im Tool notwendig sind.
Nach dem Set-Up gehen wir die ersten Schritte mit dbt, um die Daten in das Data Warehouse zu laden. Folgende Themen spielen dabei eine Rolle: Setzen von Primärschlüsseln für Tabellen, inkrementelles vs. vollständiges Laden, Tags.
Die ersten Modelle sind geschrieben und Ihre Daten befinden sich bereits im Data Warehouse. Jetzt wird es Zeit, sich mit der Datenmodellierung zu beschäftigen. Hierfür eignet sich dbt besonders, da es Abhängigkeiten der einzelnen Modelle mit der Ref-Funktion darstellen kann. Sie lernen wichtige Details dazu kennen.
Natürlich brauchen wir für die Datenmodellierung auch eine Entwicklungsumgebung. Wir zeigen Ihnen, wie Sie diese mit wenig Aufwand in dbt einrichten.
Zur Automatisierung der Prozesse nutzen wir die Funktionen von Airflow. Dafür werden DAGs in die Skripte integriert.
Tests sind eine wertvolle und unverzichtbare Funktion von dbt, damit Ihre Datenqualität auch stimmt. Sie lassen sich leicht implementieren, und wir zeigen Ihnen wie es geht.
Ziel des Trainings
Ziel des Trainings ist es, den gesamten ETL-Prozess (Extract, Transform, Load) von einer API-Abfrage bis hin zu einem fertigen Data Warehouse abzubilden. Sie lernen Schritt für Schritt, wie Sie Ihren eigenen Marketing Data Stack aufbauen. Dank kleiner Trainingsgruppen können wir auf Ihre individuellen Bedürfnisse eingehen – zu einem fairen Preis. Am Ende des Trainings kennen Sie nicht nur die wichtigsten Prozesse des Data Stack, sondern halten auch ein Zertifikat in den Händen.
Ihr Trainer
Dr. Simon Hannemann ist Business Unit Manager Data Engineering bei Hopmann Marketing Analytics und zertifizierter Experte für verschiedene Data Engineering Tools. In seiner täglichen Arbeit als Berater und Team Lead ist er für die erfolgreiche Entwicklung von ETL-Prozessen zur Datenintegration und -transformation verantwortlich. Seine tiefgehenden Kenntnisse und sein umfangreiches Praxiswissen gibt er gerne in seinem Training weiter.
Firmen- spezifisch umsetzbar
Sie wünschen ein Training zu API-Abfragen, Datenorchestrierung und/oder Datenmodellierung Inhouse für Ihr eigenes Team? Wir machen es für Sie möglich. Für namhafte Kunden haben wir bereits individuelle Data Engineering Trainings gegeben und erstellen auch Ihnen gerne ein spezifisches Angebot, das auf Ihre Wünsche abgestimmt ist.
Termine Schliersee
auf Anfrage
Termine München
auf Anfrage
Module einzeln buchbar
Mit diesem Training machen Sie den ersten Schritt zu Ihrem eigenen Marketing Data Stack. Unser erfahrener und zertifizierter Trainer führt Sie nach und nach in die grundlegenden Prozesse und Tools ein, die dafür unabdingbar sind. An jedem Tag wird ein Modul des ETL-/ELT-Prozesses behandelt. Die Module bauen aufeinander auf, können aber auch einzeln belegt werden (Tag 1 und 2 und/oder Tag 3).
EXKLUSIVE TRAININGS ZU MARKETING-DATEN
Themenübergreifende Trainings
Hybrides Projektmanagement |
München, Schliersee oder Inhouse auf Anfrage |
auf Anfrage |
Alle, die Projekte effektiver umsetzen möchten | Mehr erfahren |
Data Visualization Trainings
Professionelle Datenvisualisierung mit Power BI |
München, Schliersee oder Inhouse auf Anfrage |
auf Anfrage |
Einsteiger:innen | Mehr erfahren |
Professionelle Datenvisualisierung mit Tableau |
München, Schliersee oder Inhouse auf Anfrage |
auf Anfrage |
Einsteiger:innen | Mehr erfahren |
Digital Analytics Trainings
Google Analytics 4 und Google Tag Manager |
München, Schliersee oder Inhouse auf Anfrage |
auf Anfrage |
Einsteiger:innen | Mehr erfahren |
Data Engineering Trainings
Mastering dbt: Intensivkurs zur Datenmodellierung |
München, Schliersee auf Anfrage |
auf Anfrage |
Data Analysts, Data Engineers und Quereinsteiger:innen mit Interesse an moderner Datenmodellierung | Mehr erfahren |
Aufbau eines Marketing Data Stack |
München, Schliersee oder Inhouse auf Anfrage |
auf Anfrage |
Data Analysts und Quereinsteiger:innen mit Interesse am Modern Data Stack | Mehr erfahren |