dbt Core und Cloud - Grundlagen, DataOps und produktionsnahe Anwendung.

Block 1 – Einführung in dbt und das dbt-Ökosystem
 

• Einführung in dbt
   
  • Was ist dbt und welche Rolle spielt es im Analytics Engineering?
  • Einordnung von dbt im modernen Data Stack
  • Unterschiede und Zusammenspiel von dbt Core und dbt Cloud
  • Mehrwert von dbt für Transformation, Dokumentation und Testing
    
     
• Das dbt-Ökosystem verstehen
   
  • Aufbau eines dbt-Projekts
  • Wichtige Projektbestandteile und Konfigurationsdateien
  • Modelle, Seeds, Snapshots, Tests und Dokumentation
  • Überblick über typische Entwicklungs- und Deployment-Workflows
    
     
• Praxisüberblick
   
  • Erstes Ausführen eines dbt-Projekts
  • Navigation in Projektstruktur und Artefakten
  • Überblick über typische Kommandos wie dbt run, dbt test und dbt build
     

Block 2 – dbt-Projekte und Datenmodellierung
 

• Projektstruktur und Best Practices
  • Saubere Strukturierung von dbt-Projekten
  • Ordnung und Benennung von Modellen
  • Modularisierung und Wartbarkeit
  • Zusammenarbeit im Team und Versionierung
    
     
• Arbeiten mit Quellen und Abhängigkeiten
   
  • Nutzung von ref() und source()
  • Aufbau von Modell-Abhängigkeiten
  • Nachvollziehbare Transformationen und Lineage
  • Dokumentation von Quellen und Modellen
    
     
• Datenmodellierung in dbt
  • Schichtenmodelle und Modellierungsansätze in dbt
  • Entwicklung skalierbarer und produktionsreifer Modelle
  • Umgang mit großen Transformationen
  • Strategien für lesbare und robuste SQL-Modelle
    
     
• Snapshots und Slowly Changing Dimensions
   
  • Einführung in Snapshots
  • Typische Einsatzszenarien
  • Umsetzung historisierter Datenmodelle
  • Einordnung von Slowly Changing Dimensions im dbt-Kontext
    
     
• Praxisübungen
  • Aufbau einer sauberen Projektstruktur
  • Implementierung mehrerer abhängiger Modelle
  • Arbeiten mit Quellen, Referenzen und Snapshots

Block 3 – Jinja, Makros und Erweiterbarkeit in dbt
 

• Dynamische SQL-Erzeugung mit Jinja
  • Einführung in Jinja im dbt-Kontext
  • Variablen, Schleifen und Bedingungen
  • Wiederverwendbare Muster für SQL-Generierung
  • Lesbarkeit und Wartbarkeit dynamischer Modelle
    
     
• Makros in dbt
  • Aufbau und Einsatz von Makros
  • Wiederverwendbare Logik für Transformationen
  • Parameterisierung und Standardisierung
  • Best Practices für teamfähige Makro-Nutzung
    
     
• Packages nutzen und bewerten
  • Überblick über dbt Packages
  • Einbindung bestehender Erweiterungen
  • Chancen und Grenzen externer Pakete
  • Governance und Wartbarkeit im produktiven Einsatz
    
     
• Eigene Erweiterungen entwickeln
  • Entwicklung eigener Makros und wiederverwendbarer Komponenten
  • Grundlagen für eigene dbt Packages
  • Struktur und Pflege erweiterbarer Projektbausteine
    
     
• Praxisübungen
  • Erstellung eigener Makros
  • Nutzung und Anpassung eines Packages
  • Dynamische Modelllogik mit Jinja umsetzen
     

Block 4 – DataOps, Testing, Orchestrierung und Deployment
 

• DataOps-Prinzipien mit dbt
  • Einordnung von dbt in DataOps-Ansätze
  • Zusammenarbeit, Versionierung und Automatisierung
  • Wiederholbarkeit und Nachvollziehbarkeit in Transformationsprozessen
  • Rolle von dbt in produktionsnahen Datenplattformen
    
     
• Testing und Datenqualität
  • Bedeutung von Tests in dbt-Projekten
  • Überblick über generische und benutzerdefinierte Tests
  • Sicherung von Modellintegrität und Datenqualität
  • Teststrategien für stabile Analytics-Engineering-Workflows
    
     
• Airflow Basics und dbt-Orchestrierung
  • Einführung in Apache Airflow
  • DAGs, Tasks und Abhängigkeiten
  • Scheduling und Ausführung von Workflows
  • Integration von dbt in orchestrierte Pipelines
  • Einsatz von Operators wie BashOperator und DockerOperator
  • Monitoring, Logging, Retries und Alerting
    
     
• Deployment, CI/CD und Performance
  • Deployment-Workflows für dbt Core und dbt Cloud
  • Aufbau von CI/CD-Pipelines
  • Automatisierte Qualitätssicherung vor Deployment
  • Performance-Optimierung und Skalierbarkeit
  • Best Practices für produktionsreife dbt-Prozesse