InícioCursosIntrodução aos fundamentos de engenharia de dados

As tecnologias e ferramentas do data engineer

Capítulo 2 · Primeiros passos na engenharia de dados · lição 6 de 59
Reservado aos subscritores — eis o seu início
O engenheiro de dados move dados provenientes de várias fontes, processa-os ou limpa-os e, em seguida, carrega-os numa base de dados destinada à análise. Para realizar estas diferentes operações, apoia-se em várias ferramentas especializadas. Estas ferramentas permitem-lhe organizar os dados de forma eficaz e facilitar a sua exploração. Eis uma visão geral das principais categorias de ferramentas utilizadas nesta profissão. Os sistemas de gestão de bases de dados Os engenheiros de dados são utilizadores experientes dos sistemas de gestão de bases de dados. Para simplificar, uma base de dados é um sistema informático que permite armazenar e gerir grandes quantidades
A continuação desta lição é reservada aos subscritores Crie a sua conta gratuita para testar os exercícios de exemplo e, depois, passe para o acesso completo quando quiser.

Crie a sua conta gratuita

Sem cartão de crédito, em trinta segundos.
Continuar com o Google
ou
Inscrever-se com um e-mail
Já tem conta? Iniciar sessão
Ao continuar, aceita os termos de utilização e a política de privacidade. Os seus dados são alojados na União Europeia.

Acesso completo DATAGOZ

19 €/ mês — ou 190 € / ano
  • Todos os cursos publicados e os percursos profissionais
  • Exercícios e questionários corrigidos automaticamente
  • Treino, exame e certificado de frequência
  • Sem compromisso, cancelável online
Ver os planos
Esta lição faz parte do curso

Introdução aos fundamentos de data engineering

short_training6 capítulos · 59 lições

Descubra os fundamentos de data engineering para compreender a gestão dos dados!

  • A plataforma de formaçãosubscritores
  • Os fundamentos da engenharia de dadosassinantes
  • As missões e responsabilidades de um engenheiro de dadosassinantes
  • Engenheiro de dados e cientista de dados, compreender as suas diferençasassinantes
  • Os principais desafios da engenharia de dadosassinantes
  • As tecnologias e ferramentas do engenheiro de dadosestás aqui
  • Panorama dos diferentes tipos de bases de dadosassinantes
  • Gestão e execução de processamentos de dadosassinantes
  • Automatização e agendamento de tarefasassinantes
  • Descoberta dos fornecedores de serviços de cloudassinantes
  • As vantagens da computação em nuvemassinantes
  • Apresentação dos principais fornecedores de cloudassinantes
  • Os diferentes serviços oferecidos na cloudassinantes
  • Os diferentes sistemas de gestão de bases de dadosassinantes
  • Comparar as bases de dados SQL e NoSQLassinantes
  • Conceção e organização dos esquemas de bases de dadosassinantes
  • Combinar tabelas através de junções relacionaisassinantes
  • Modelagem de dados com o esquema em estrelainscritos
  • Compreender os princípios da computação paralelainscritos
  • As vantagens do processamento paralelo de dadosinscritos
  • Decompor um processamento em várias tarefas independentesinscritos
  • Manipular dados com DataFramesinscritos
  • Os principais frameworks de computação distribuídainscritos
  • Descobrir as tecnologias Spark, Hadoop e Hiveinscritos
  • Agrupar e agregar dados com PySparkinscritos
  • Executar e gerir scripts PySparkinscritos
  • As ferramentas de agendamento e orquestração de workflowsinscritos
  • Automatizar processamentos com Airflow, Prefect e croninscritos
  • Criar e organizar DAGs com Apache Airflowinscritos
  • Os diferentes métodos de extração de dadosassinantes
  • Identificar e explorar as fontes de dadosassinantes
  • Extrair informações a partir de uma APIassinantes
  • Importar dados de uma base de dadosassinantes
  • As etapas de transformação de dadosassinantes
  • Extrair e decompor as informações relativas aos preços de aluguerassinantes
  • Preparar e organizar as operações de transformaçãoassinantes
  • Enriquecer os dados com junções às avaliaçõesassinantes
  • Os métodos de carregamento de dadosassinantes
  • Compreender as diferenças entre OLAP e OLTPassinantes
  • Exportar os dados para ficheirosassinantes
  • Inserir e armazenar dados no PostgreSQLassinantes
  • Montar as diferentes etapas de um processo ETLassinantes
  • Construir um grafo acíclico dirigido (DAG)assinantes
  • Configurar um ambiente Apache Airflowassinantes
  • Analisar e compreender a estrutura de um DAGassinantes
  • Familiarizar-se com a documentação dos cursosassinantes
  • Descobrir a estrutura da base de dadosassinantes
  • Explorar os dados com consultas SQLassinantes
  • Calcular a nota média atribuída a cada cursoassinantes
  • Aproveitar as avaliações para formular recomendaçõesassinantes
  • Detetar e excluir os dados incorretosassinantes
  • Aplicar as transformações necessárias à geração de recomendaçõesassinantes
  • Automatizar o agendamento dos processamentos diáriosassinantes
  • Determinar a tabela de destino dos dadosassinantes
  • Construir o DAG para orquestrar o processoassinantes
  • Ativar e executar o DAGassinantes
  • Consultar os dados para obter as recomendações geradasassinantes
  • Balanço do projeto de engenharia de dadosassinantes
  • Conclusão da formaçãoassinantes
Próxima lição

Panorama dos diferentes tipos de bancos de dados

Ver o programa Crie uma conta para continuar