HomeCorsiIntroduzione ai fondamentali del data engineering

Tecnologie e strumenti del data engineer

Capitolo 2 · Primi passi nell’ingegneria dei dati · lezione 6 di 59
Riservato agli abbonati — ecco l'inizio
L'ingegnere dei dati sposta i dati provenienti da più fonti, li elabora o li pulisce, poi li carica in un database destinato all'analisi. Per svolgere queste diverse operazioni, si avvale di diversi strumenti specializzati. Questi strumenti gli permettono di organizzare efficacemente i dati e di facilitarne lo sfruttamento. Ecco una panoramica delle principali categorie di strumenti utilizzati in questa professione. I sistemi di gestione di basi di dati Gli ingegneri dei dati sono utenti esperti dei sistemi di gestione di basi di dati. Per semplificare, una base di dati è un sistema informatico che permette di archiviare e gestire grandi quantità
Il seguito di questa lezione è riservato agli abbonati Crea il tuo account gratuito per provare gli esercizi di esempio, poi passa all'accesso completo quando vuoi.

Crea il tuo account gratuito

Senza carta di credito, in trenta secondi.
Continua con Google
oppure
Iscriviti con un'e-mail
Già registrato? Accedi
Continuando, accetti le condizioni d'uso e la politica sulla privacy. I tuoi dati sono ospitati nell'Unione europea.

Accesso completo DATAGOZ

19 €/ mese — oppure 190 € / anno
  • Tutti i corsi pubblicati e i percorsi professionali
  • Esercizi e quiz corretti automaticamente
  • Allenamento, esame e attestato di frequenza
  • Senza impegno, disdettabile online
Vedi i piani
Questa lezione fa parte del corso

Introduzione ai fondamenti del data engineering

short_training6 capitoli · 59 lezioni

Scopri i fondamentali del data engineering per capire la gestione dei dati !

  • La piattaforma di formazioneiscritti
  • I fondamentali dell’ingegneria dei datiiscritti
  • Missioni e responsabilità di un ingegnere dei datiabbonati
  • Ingegnere dei dati e data scientist: capirne le differenzeabbonati
  • Le principali sfide dell’ingegneria dei datiabbonati
  • Le tecnologie e gli strumenti del data engineersei qui
  • Panoramica dei diversi tipi di databaseiscritti
  • Gestione ed esecuzione dell'elaborazione dei datiiscritti
  • Automazione e pianificazione delle attivitàiscritti
  • Scoperta dei fornitori di servizi cloudiscritti
  • I vantaggi del cloud computingiscritti
  • Presentazione dei principali provider cloudiscritti
  • I diversi servizi offerti nel cloudiscritti
  • I diversi sistemi di gestione di databaseiscritti
  • Confrontare i database SQL e NoSQLiscritti
  • Progettazione e organizzazione degli schemi di databaseiscritti
  • Combinare tabelle grazie alle join relazionaliiscritti
  • Modellazione dei dati con lo schema a stellaiscritti
  • Comprendere i principi del calcolo paralleloiscritti
  • I vantaggi dell'elaborazione parallela dei datiiscritti
  • Scomporre un'elaborazione in più attività indipendentiiscritti
  • Manipolare i dati con i DataFrameiscritti
  • I principali framework di calcolo distribuitoiscritti
  • Scoprire le tecnologie Spark, Hadoop e Hiveiscritti
  • Raggruppare e aggregare dati con PySparkiscritti
  • Eseguire e gestire script PySparkiscritti
  • Gli strumenti di pianificazione e orchestrazione dei workflowiscritti
  • Automatizzare le elaborazioni con Airflow, Prefect e croniscritti
  • Creare e organizzare i DAG con Apache Airflowiscritti
  • I diversi metodi di estrazione dei datiiscritti
  • Identificare ed esplorare le fonti di datiiscritti
  • Estrarre informazioni da un'APIiscritti
  • Importare dati da un databaseiscritti
  • Le fasi di trasformazione dei datiiscritti
  • Estrarre e scomporre le informazioni relative ai prezzi di affittoiscritti
  • Preparare e organizzare le operazioni di trasformazioneiscritti
  • Arricchire i dati tramite join con le valutazioniiscritti
  • I metodi di caricamento dei datiiscritti
  • Capire le differenze tra OLAP e OLTPiscritti
  • Esportare i dati in fileiscritti
  • Inserire e memorizzare dati in PostgreSQLiscritti
  • Assemblare le diverse fasi di un processo ETLiscritti
  • Costruire un grafo aciclico orientato (DAG)iscritti
  • Configurare un ambiente Apache Airflowiscritti
  • Analizzare e comprendere la struttura di un DAGiscritti
  • Prendere visione della documentazione dei corsiiscritti
  • Scoprire la struttura del databaseiscritti
  • Esplorare i dati con query SQLiscritti
  • Calcolare la valutazione media assegnata a ciascun corsoiscritti
  • Sfruttare le valutazioni per formulare raccomandazioniiscritti
  • Rilevare ed escludere i dati erratiiscritti
  • Applicare le trasformazioni necessarie alla generazione dei consigliiscritti
  • Automatizzare la pianificazione delle elaborazioni quotidianeiscritti
  • Determinare la tabella di destinazione dei datiiscritti
  • Costruire il DAG per orchestrare il processoiscritti
  • Attivare ed eseguire il DAGiscritti
  • Interrogare i dati per ottenere i consigli generatiiscritti
  • Bilancio del progetto di ingegneria dei datiiscritti
  • Conclusione del corsoiscritti
Lezione successiva

Panoramica dei diversi tipi di database

Vedi il programma Crea un account per continuare