Esta lección forma parte del curso
Iniciación a los fundamentos del data engineering
short_training6 capítulos · 59 lecciones
¡Descubra los fundamentos de la ingeniería de datos para comprender la gestión de los datos!
1. Mensaje de bienvenida1 lección
La plataforma de formaciónsuscriptores
2. Primeros pasos en la ingeniería de datos12 lecciones
Los fundamentos de la ingeniería de datossuscriptores Las misiones y responsabilidades de un ingeniero de datossuscriptores Ingeniero de datos y científico de datos: comprender sus diferenciassuscriptores Los principales retos de la ingeniería de datosestás aquí Las tecnologías y herramientas del data engineersuscriptores Panorama de los distintos tipos de bases de datossuscriptores Gestión y ejecución del procesamiento de datossuscriptores Automatización y planificación de tareassuscriptores Descubrimiento de los proveedores de servicios en la nubesuscriptores Las ventajas de la computación en la nubesuscriptores Presentación de los principales proveedores de nubesuscriptores Los distintos servicios ofrecidos en la nubesuscriptores
3. Las herramientas indispensables para la ingeniería de datos16 lecciones
Los distintos sistemas de gestión de bases de datossuscriptores Comparar las bases de datos SQL y NoSQLsuscriptores Diseño y organización de los esquemas de bases de datossuscriptores Combinar tablas mediante uniones relacionalessuscriptores Modelado de datos con el esquema en estrellasuscriptores Comprender los principios de la computación paralelasuscriptores Las ventajas del procesamiento paralelo de datossuscriptores Descomponer un procesamiento en varias tareas independientessuscriptores Manipular datos con DataFramessuscriptores Los principales frameworks de computación distribuidasuscriptores Descubrir las tecnologías Spark, Hadoop y Hivesuscriptores Agrupar y agregar datos con PySparksuscriptores Ejecutar y gestionar scripts de PySparksuscriptores Herramientas de programación y orquestación de flujos de trabajosuscriptores Automatizar procesos con Airflow, Prefect y cronsuscriptores Crear y organizar DAG con Apache Airflowsuscriptores
4. Extract, Transform and Load (ETL)16 lecciones
Los distintos métodos de extracción de datossuscriptores Identificar y explorar las fuentes de datossuscriptores Extraer información de una APIsuscriptores Importar datos desde una base de datossuscriptores Las etapas de transformación de datossuscriptores Extraer y desglosar la información relativa a los precios de alquilersuscriptores Preparar y organizar las operaciones de transformaciónabonados Enriquecer los datos mediante uniones con las evaluacionesabonados Los métodos de carga de datosabonados Comprender las diferencias entre OLAP y OLTPabonados Exportar los datos a archivosabonados Insertar y almacenar datos en PostgreSQLabonados Ensamblar las distintas etapas de un proceso ETLabonados Construir un grafo acíclico dirigido (DAG)abonados Configurar un entorno de Apache Airflowabonados Analizar y comprender la estructura de un DAGabonados
5. Estudio práctico de un proyecto de ingeniería de datos13 lecciones
Familiarizarse con la documentación de los cursosabonados Descubrir la estructura de la base de datossuscriptores Explorar los datos mediante consultas SQLsuscriptores Calcular la nota media otorgada a cada cursosuscriptores Aprovechar las evaluaciones para formular recomendacionessuscriptores Detectar y excluir los datos erróneossuscriptores Aplicar las transformaciones necesarias para la generación de recomendacionessuscriptores Automatizar la planificación de los procesamientos diariossuscriptores Determinar la tabla de destino de los datossuscriptores Construir el DAG para orquestar el procesosuscriptores Activar y lanzar el DAGsuscriptores Consultar los datos para obtener las recomendaciones generadassuscriptores Balance del proyecto de ingeniería de datossuscriptores
6. Conclusión1 lección
Conclusión de la formaciónsuscriptores