Questa lezione fa parte del corso
Introduzione ai fondamenti del data engineering
short_training6 capitoli · 59 lezioni
Scopri i fondamentali del data engineering per capire la gestione dei dati !
1. Messaggio di benvenuto1 lezione
La piattaforma di formazioneiscritti
2. Primi passi nell’ingegneria dei dati12 lezioni
I fondamentali dell’ingegneria dei datiiscritti Missioni e responsabilità di un ingegnere dei datiabbonati Ingegnere dei dati e data scientist: capirne le differenzeabbonati Le principali sfide dell’ingegneria dei datisei qui Tecnologie e strumenti del data engineerabbonati Panoramica dei diversi tipi di databaseiscritti Gestione ed esecuzione dell'elaborazione dei datiiscritti Automazione e pianificazione delle attivitàiscritti Scoperta dei fornitori di servizi cloudiscritti I vantaggi del cloud computingiscritti Presentazione dei principali provider cloudiscritti I diversi servizi offerti nel cloudiscritti
3. Gli strumenti indispensabili per l’ingegneria dei dati16 lezioni
I diversi sistemi di gestione di databaseiscritti Confrontare i database SQL e NoSQLiscritti Progettazione e organizzazione degli schemi di databaseiscritti Combinare tabelle grazie alle join relazionaliiscritti Modellazione dei dati con lo schema a stellaiscritti Comprendere i principi del calcolo paralleloiscritti I vantaggi dell'elaborazione parallela dei datiiscritti Scomporre un'elaborazione in più attività indipendentiiscritti Manipolare i dati con i DataFrameiscritti I principali framework di calcolo distribuitoiscritti Scoprire le tecnologie Spark, Hadoop e Hiveiscritti Raggruppare e aggregare dati con PySparkiscritti Eseguire e gestire script PySparkiscritti Gli strumenti di pianificazione e orchestrazione dei workflowiscritti Automatizzare le elaborazioni con Airflow, Prefect e croniscritti Creare e organizzare i DAG con Apache Airflowiscritti
4. Extract, Transform and Load (ETL)16 lezioni
I diversi metodi di estrazione dei datiiscritti Identificare ed esplorare le fonti di datiiscritti Estrarre informazioni da un'APIiscritti Importare dati da un databaseiscritti Le fasi di trasformazione dei datiiscritti Estrarre e scomporre le informazioni relative ai prezzi di affittoiscritti Preparare e organizzare le operazioni di trasformazioneiscritti Arricchire i dati tramite join con le valutazioniiscritti I metodi di caricamento dei datiiscritti Capire le differenze tra OLAP e OLTPiscritti Esportare i dati in fileiscritti Inserire e memorizzare dati in PostgreSQLiscritti Assemblare le diverse fasi di un processo ETLiscritti Costruire un grafo aciclico orientato (DAG)iscritti Configurare un ambiente Apache Airflowiscritti Analizzare e comprendere la struttura di un DAGiscritti
5. Studio pratico di un progetto di ingegneria dei dati13 lezioni
Prendere visione della documentazione dei corsiiscritti Scoprire la struttura del databaseiscritti Esplorare i dati con query SQLiscritti Calcolare la valutazione media assegnata a ciascun corsoiscritti Sfruttare le valutazioni per formulare raccomandazioniiscritti Rilevare ed escludere i dati erratiiscritti Applicare le trasformazioni necessarie alla generazione dei consigliiscritti Automatizzare la pianificazione delle elaborazioni quotidianeiscritti Determinare la tabella di destinazione dei datiiscritti Costruire il DAG per orchestrare il processoiscritti Attivare ed eseguire il DAGiscritti Interrogare i dati per ottenere i consigli generatiiscritti Bilancio del progetto di ingegneria dei datiiscritti
6. Conclusione1 lezione
Conclusione del corsoiscritti