Esta lição faz parte do curso
Introdução aos fundamentos de data engineering
short_training6 capítulos · 59 lições
Descubra os fundamentos de data engineering para compreender a gestão dos dados!
1. Mensagem de boas-vindas1 lição
A plataforma de formaçãosubscritores
2. Primeiros passos na engenharia de dados12 lições
Os fundamentos da engenharia de dadosassinantes As missões e responsabilidades de um engenheiro de dadosassinantes Engenheiro de dados e cientista de dados, compreender as suas diferençasassinantes Os principais desafios da engenharia de dadosassinantes As tecnologias e ferramentas do data engineerassinantes Panorama dos diferentes tipos de bases de dadosassinantes Gestão e execução de processamentos de dadosestás aqui Automatização e agendamento de tarefasassinantes Descoberta dos fornecedores de serviços de cloudassinantes As vantagens da computação em nuvemassinantes Apresentação dos principais fornecedores de cloudassinantes Os diferentes serviços oferecidos na cloudassinantes
3. As ferramentas indispensáveis para a engenharia de dados16 lições
Os diferentes sistemas de gestão de bases de dadosassinantes Comparar as bases de dados SQL e NoSQLassinantes Conceção e organização dos esquemas de bases de dadosassinantes Combinar tabelas através de junções relacionaisassinantes Modelagem de dados com o esquema em estrelainscritos Compreender os princípios da computação paralelainscritos As vantagens do processamento paralelo de dadosinscritos Decompor um processamento em várias tarefas independentesinscritos Manipular dados com DataFramesinscritos Os principais frameworks de computação distribuídainscritos Descobrir as tecnologias Spark, Hadoop e Hiveinscritos Agrupar e agregar dados com PySparkinscritos Executar e gerir scripts PySparkinscritos As ferramentas de agendamento e orquestração de workflowsinscritos Automatizar processamentos com Airflow, Prefect e croninscritos Criar e organizar DAGs com Apache Airflowinscritos
4. Extract, Transform and Load (ETL)16 lições
Os diferentes métodos de extração de dadosassinantes Identificar e explorar as fontes de dadosassinantes Extrair informações a partir de uma APIassinantes Importar dados de uma base de dadosassinantes As etapas de transformação de dadosassinantes Extrair e decompor as informações relativas aos preços de aluguerassinantes Preparar e organizar as operações de transformaçãoassinantes Enriquecer os dados com junções às avaliaçõesassinantes Os métodos de carregamento de dadosassinantes Compreender as diferenças entre OLAP e OLTPassinantes Exportar os dados para ficheirosassinantes Inserir e armazenar dados no PostgreSQLassinantes Montar as diferentes etapas de um processo ETLassinantes Construir um grafo acíclico dirigido (DAG)assinantes Configurar um ambiente Apache Airflowassinantes Analisar e compreender a estrutura de um DAGassinantes
5. Estudo prático de um projeto de engenharia de dados13 lições
Familiarizar-se com a documentação dos cursosassinantes Descobrir a estrutura da base de dadosassinantes Explorar os dados com consultas SQLassinantes Calcular a nota média atribuída a cada cursoassinantes Aproveitar as avaliações para formular recomendaçõesassinantes Detetar e excluir os dados incorretosassinantes Aplicar as transformações necessárias à geração de recomendaçõesassinantes Automatizar o agendamento dos processamentos diáriosassinantes Determinar a tabela de destino dos dadosassinantes Construir o DAG para orquestrar o processoassinantes Ativar e executar o DAGassinantes Consultar os dados para obter as recomendações geradasassinantes Balanço do projeto de engenharia de dadosassinantes
6. Conclusão1 lição
Conclusão da formaçãoassinantes