Introdução aos fundamentos de data engineering
Esta formação oferece uma introdução clara e acessível aos princípios fundamentais do data engineering. Permite compreender o funcionamento dos pipelines de dados, as etapas de recolha e transformação dos dados, bem como os papéis dos p
Crie a sua conta gratuita
Como decorre o curso
Cada lição é um texto estruturado, ilustrado com exemplos e esquemas, seguido de um quiz corrigido automaticamente. Você avança no seu próprio ritmo, e as suas notas ficam associadas à lição em que as fez.
-
Adquirir uma boa compreensão dos conceitos fundamentais do data engineering
-
Compreender as diferentes etapas da recolha, transformação e armazenamento dos dados
-
Descobrir o funcionamento dos pipelines de dados e as suas principais aplicações
-
Identificar as ferramentas e tecnologias utilizadas nos ambientes de processamento de dados
-
Desenvolver os conhecimentos necessários para compreender os desafios da qualidade, fiabilidade e segurança dos dados
-
Engenheiro de dados júnior: participação na recolha, transformação e armazenamento de dados.
-
Desenvolvedor de pipelines de dados: conceção e automatização dos fluxos de dados.
-
Assistente de data analyst: preparação e organização dos dados destinados às análises.
-
Administrador de bases de dados júnior: gestão, organização e manutenção das bases de dados.
-
Técnico de gestão de dados: controlo da qualidade e da coerência das informações.
-
Analista de dados: exploração dos dados para identificar tendências e produzir análises.
-
Consultor júnior em engenharia de dados: apoio às organizações na implementação de soluções de gestão de dados.
-
Especialista em integração de dados: recolha e centralização das informações provenientes de diferentes fontes.
-
Assistente em arquitetura de dados: participação na conceção e organização dos sistemas de armazenamento e tratamento de dados.
Acessibilidade

Se está numa situação de deficiência e pretende frequentar uma formação connosco, este e-mail é-lhe dedicado: contact@datagoz.com . Para qualquer outra situação, não hesite em contactar-nos para avaliarmos como garantir uma experiência de aprendizagem.
Como financio a minha formação?
Certificado de conclusão: no final deste curso, é-lhe emitido um certificado de conclusão DATAGOZ, nominativo e verificável online.
A equipa DATAGOZ deseja-lhe uma boa formação!
6 capítulos, 59 lições
- 2. Os fundamentos da engenharia de dadosaberto
- 2. As missões e responsabilidades de um engenheiro de dadosaberto
- 2. Engenheiro de dados e cientista de dados: compreender as suas diferençasaberto
- 2. Os principais desafios da engenharia de dadosaberto
- 2. As tecnologias e ferramentas do engenheiro de dadosaberto
- 2. Panorama dos diferentes tipos de bases de dadosaberto
- 2. Gestão e execução de processamentos de dadosaberto
- 2. Automação e agendamento de tarefasaberto
- 2. Descoberta dos fornecedores de serviços em nuvemaberto
- 2. As vantagens da computação em nuvemaberto
- 2. Apresentação dos principais fornecedores de nuvemaberto
- 2. Os diferentes serviços oferecidos na nuvemaberto
- 3. Os diferentes sistemas de gestão de bases de dadosassinantes
- 3. Comparar as bases de dados SQL e NoSQLassinantes
- 3. Conceção e organização dos esquemas de bases de dadosassinantes
- 3. Combinar tabelas através de junções relacionaisassinantes
- 3. Modelação de dados com o esquema em estrelaassinantes
- 3. Compreender os princípios da computação paralelaassinantes
- 3. As vantagens do processamento paralelo de dadosassinantes
- 3. Decompor um processamento em várias tarefas independentesassinantes
- 3. Manipular dados com DataFramesassinantes
- 3. Os principais frameworks de computação distribuídaassinantes
- 3. Descobrir as tecnologias Spark, Hadoop e Hiveassinantes
- 3. Agrupar e agregar dados com PySparkassinantes
- 3. Executar e gerir scripts PySparkassinantes
- 3. As ferramentas de agendamento e orquestração de workflowsassinantes
- 3. Automatizar processamentos com Airflow, Prefect e cronassinantes
- 3. Criar e organizar DAGs com Apache Airflowassinantes
- 4. Os diferentes métodos de extração de dadosassinantes
- 4. Identificar e explorar as fontes de dadosassinantes
- 4. Extrair informações de uma APIassinantes
- 4. Importar dados de uma base de dadosassinantes
- 4. As etapas de transformação dos dadosassinantes
- 4. Extrair e decompor as informações sobre os preços de aluguerassinantes
- 4. Preparar e organizar as operações de transformaçãoassinantes
- 4. Enriquecer os dados com junções às avaliaçõesassinantes
- 4. Os métodos de carregamento dos dadosassinantes
- 4. Compreender as diferenças entre OLAP e OLTPassinantes
- 4. Exportar os dados para ficheirosassinantes
- 4. Inserir e armazenar dados no PostgreSQLassinantes
- 4. Juntar as diferentes etapas de um processo ETLassinantes
- 4. Construir um grafo acíclico dirigido (DAG)assinantes
- 4. Configurar um ambiente Apache Airflowassinantes
- 4. Analisar e compreender a estrutura de um DAGassinantes
- 5. Tomar conhecimento da documentação dos cursosassinantes
- 5. Descobrir a estrutura da base de dadosassinantes
- 5. Explorar os dados com consultas SQLassinantes
- 5. Calcular a nota média atribuída a cada cursoassinantes
- 5. Aproveitar as avaliações para formular recomendaçõesassinantes
- 5. Detetar e excluir os dados erradosassinantes
- 5. Aplicar as transformações necessárias à geração de recomendaçõesassinantes
- 5. Automatizar o agendamento dos processamentos diáriosassinantes
- 5. Determinar a tabela de destino dos dadosassinantes
- 5. Construir o DAG para orquestrar o processoassinantes
- 5. Ativar e executar o DAGassinantes
- 5. Consultar os dados para obter as recomendações geradasassinantes
- 5. Balanço do projeto de engenharia de dadosassinantes
Tudo o que acompanha as lições
Quanto tempo, de acordo com a sua disponibilidade
O que você obtém no final
Quando o curso termina, o certificado é emitido em seu nome. O código permite a um recrutador verificá-lo em poucos segundos.
Não é um diploma nem uma certificação profissional; é a prova verificável de que você frequentou e concluiu este curso.
Quem escreve este curso
Uma pedagogia clara e aplicada, com exemplos concretos para aprender de forma eficaz.
Antes de começar
Comece este curso hoje
13 lições abertas, sem cartão bancário. Verás o nível e o tom antes de decidir.