Beherrschen Sie das Rückgrat des RESTful-API-Designs, einer der beliebtesten Schnittstellen zum sicheren Austausch von Informationen über das Internet. Erfahren Sie, wie Sie RESTful-Dienste nutzen und mit ihnen arbeiten, um effiziente Daten-Pipelines aufzubauen.

Sie lernen mehr über JSON-Dateien: ein beliebtes, leicht lesbares und weithin unterstütztes textbasiertes Datenformat, das zum Speichern und Austauschen strukturierter Informationen verwendet wird. JSON-Dateien bestehen aus Schlüssel-Wert-Paaren und ermöglichen eine effiziente Datendarstellung in einem für Menschen lesbaren Format.

Am Ende dieses Moduls erwerben Sie Kenntnisse im Extrahieren von Daten über API-Abfragen und im effizienten Umgang mit Daten, die aus mehreren Anfragen abgerufen werden. Darüber hinaus erlernen Sie Fähigkeiten, diese Extraktionen nahtlos in Pandas-Datenrahmen zu konvertieren und Datentransformationen problemlos durchzuführen.

Zur Automatisierung des Workflows ist Apache Airflow das Tool der Wahl. Sie erhalten eine grundsätzliche Einführung in das Thema Datenorchestrierung und in den Aufbau von Apache Airflow. Anschließend lernen Sie die Navigation der Benutzeroberfläche und die grundlegenden Konzepte von Airflow kennen.

Für das erfolgreiche Deployment des Set-Ups ist die Einrichtung der notwendigen Zugriffsrechte nötig, damit wir in Snowflake auf die Daten zugreifen können. Dies passiert über eine Snowflake Storage Integration für den Zugriff auf das externe Storage Bucket.

Nachdem wir uns einen theoretischen Überblick über die Datenorchestrierung mit Airflow verschafft haben, geht es nun darum, den Code mit Airflow zu automatisieren. Dafür werden die notwendigen Bausteine in den Python Code integriert und getestet.

Für eine vollständige Automatisierung sind Scheduling und Alerting wichtige Bestandteile in Airflow. Wir zeigen Ihnen, wie Sie ein sogenanntes Schedule zur Ausführung Ihres DAGs schreiben und mit Hilfe von Alerting die Ausführung überwachen können.

Im letzten Teil werden alle Bausteine zusammengesetzt und die vollständige Implementierung in der Cloud-Umgebung findet statt.

Warum ist dbt so ein beliebtes Tool im Analytics Engineering? Welche Funktionen kann es übernehmen? Wie interagiert es mit anderen Tools? Diesen Fragen widmen wir uns im ersten Teil des Trainings.

Wir installieren dbt und richten initial ein dbt-Projekt ein. Anschließend erhalten Sie einen Überblick über die Struktur und welche Konfigurationen im Tool notwendig sind.

Nach dem Set-Up gehen wir die ersten Schritte mit dbt, um die Daten in das Data Warehouse zu laden. Folgende Themen spielen dabei eine Rolle: Setzen von Primärschlüsseln für Tabellen, inkrementelles vs. vollständiges Laden, Tags.

Die ersten Modelle sind geschrieben und Ihre Daten befinden sich bereits im Data Warehouse. Jetzt wird es Zeit, sich mit der Datenmodellierung zu beschäftigen. Hierfür eignet sich dbt besonders, da es Abhängigkeiten der einzelnen Modelle mit der Ref-Funktion darstellen kann. Sie lernen wichtige Details dazu kennen.

Natürlich brauchen wir für die Datenmodellierung auch eine Entwicklungsumgebung. Wir zeigen Ihnen, wie Sie diese mit wenig Aufwand in dbt einrichten.

Zur Automatisierung der Prozesse nutzen wir die Funktionen von Airflow. Dafür werden DAGs in die Skripte integriert.

Tests sind eine wertvolle und unverzichtbare Funktion von dbt, damit Ihre Datenqualität auch stimmt. Sie lassen sich leicht implementieren, und wir zeigen Ihnen wie es geht.