Diese Lektion gehört zum Kurs
Einführung in die Grundlagen des Data Engineerings
short_training6 Kapitel · 59 Lektionen
Entdecken Sie die Grundlagen des Data Engineerings, um die Datenverwaltung zu verstehen!
1. Willkommensnachricht1 Lektion
Die SchulungsplattformAbonnenten
2. Erste Schritte im Data Engineering12 Lektionen
Die Grundlagen des Data EngineeringsAbonnenten Die Aufgaben und Verantwortlichkeiten eines Data EngineersAbonnenten Data Engineer und Data Scientist: Ihre Unterschiede verstehenAbonnenten Die wichtigsten Herausforderungen des Data EngineeringsAbonnenten Die Technologien und Werkzeuge des Data EngineersAbonnenten Überblick über die verschiedenen Arten von DatenbankenAbonnenten Verwaltung und Ausführung von DatenverarbeitungAbonnenten Automatisierung und Planung von AufgabenAbonnenten Entdeckung der Cloud-DienstanbieterAbonnenten Die Vorteile von Cloud ComputingAbonnenten Vorstellung der wichtigsten Cloud-AnbieterSie sind hier Die verschiedenen Dienste in der CloudAbonnenten
3. Die unverzichtbaren Werkzeuge für Data Engineering16 Lektionen
Die verschiedenen DatenbankmanagementsystemeAbonnenten SQL- und NoSQL-Datenbanken im VergleichAbonnenten Entwurf und Organisation von DatenbankschemataAbonnenten Tabellen mit relationalen Joins verknüpfenAbonnenten Datenmodellierung mit dem SternschemaAbonnenten Die Prinzipien des parallelen Rechnens verstehenAbonnenten Die Vorteile der parallelen DatenverarbeitungAbonnenten Eine Verarbeitung in mehrere unabhängige Aufgaben zerlegenAbonnenten Daten mit DataFrames bearbeitenAbonnenten Die wichtigsten Frameworks für verteiltes RechnenAbonnenten Die Technologien Spark, Hadoop und Hive entdeckenAbonnenten Daten mit PySpark gruppieren und aggregierenAbonnenten PySpark-Skripte ausführen und verwaltenAbonnenten Werkzeuge zur Planung und Orchestrierung von WorkflowsAbonnenten Verarbeitungen mit Airflow, Prefect und cron automatisierenAbonnenten DAGs mit Apache Airflow erstellen und organisierenAbonnenten
4. Extract, Transform and Load (ETL)16 Lektionen
Die verschiedenen Methoden der DatenextraktionAbonnenten Datenquellen identifizieren und erkundenAbonnenten Informationen aus einer API extrahierenAbonnenten Daten aus einer Datenbank importierenAbonnenten Die Schritte der DatentransformationAbonnenten Informationen zu den Mietpreisen extrahieren und aufschlüsselnAbonnenten Transformationsvorgänge vorbereiten und organisierenAbonnenten Daten durch Joins mit den Bewertungen anreichernAbonnenten Die Methoden des DatenladensAbonnenten Die Unterschiede zwischen OLAP und OLTP verstehenAbonnenten Daten in Dateien exportierenAbonnenten PostgreSQL-Daten einfügen und speichernAbonnenten Die verschiedenen Schritte eines ETL-Prozesses zusammensetzenAbonnenten Einen gerichteten azyklischen Graphen (DAG) erstellenAbonnenten Eine Apache-Airflow-Umgebung konfigurierenAbonnenten Die Struktur eines DAG analysieren und verstehenAbonnenten
5. Praxisstudie zu einem Data-Engineering-Projekt13 Lektionen
Die Kursdokumentation kennenlernenAbonnenten Die Struktur der Datenbank entdeckenAbonnenten Die Daten mithilfe von SQL-Abfragen erkundenAbonnenten Die durchschnittliche Bewertung jedes Kurses berechnenAbonnenten Die Bewertungen auswerten, um Empfehlungen abzuleitenAbonnenten Fehlerhafte Daten erkennen und ausschließenAbonnenten Transformationen für die Generierung von Empfehlungen anwendenAbonnenten Die tägliche Planung der Verarbeitungen automatisierenAbonnenten Die Zieltabelle für die Daten festlegenAbonnenten Den DAG zur Orchestrierung des Prozesses erstellenAbonnenten DAG aktivieren und startenAbonnenten Daten abfragen, um die generierten Empfehlungen abzurufenAbonnenten Projektbilanz des Data-Engineering-ProjektsAbonnenten
6. Fazit1 Lektion
Abschluss der SchulungAbonnenten