InícioCursosIntrodução aos fundamentos de engenharia de dados

As vantagens da cloud computing

Capítulo 2 · Primeiros passos na engenharia de dados · lição 11 de 59
Reservado aos subscritores — eis o seu início
A continuação desta lição é reservada aos subscritores Crie a sua conta gratuita para testar os exercícios de exemplo e, depois, passe para o acesso completo quando quiser.

Crie a sua conta gratuita

Sem cartão de crédito, em trinta segundos.
Continuar com o Google
ou
Inscrever-se com um e-mail
Já tem conta? Iniciar sessão
Ao continuar, aceita os termos de utilização e a política de privacidade. Os seus dados são alojados na União Europeia.

Acesso completo DATAGOZ

19 €/ mês — ou 190 € / ano
  • Todos os cursos publicados e os percursos profissionais
  • Exercícios e questionários corrigidos automaticamente
  • Treino, exame e certificado de frequência
  • Sem compromisso, cancelável online
Ver os planos
Esta lição faz parte do curso

Introdução aos fundamentos de data engineering

short_training6 capítulos · 59 lições

Descubra os fundamentos de data engineering para compreender a gestão dos dados!

  • A plataforma de formaçãosubscritores
  • Os fundamentos da engenharia de dadosassinantes
  • As missões e responsabilidades de um engenheiro de dadosassinantes
  • Engenheiro de dados e cientista de dados, compreender as suas diferençasassinantes
  • Os principais desafios da engenharia de dadosassinantes
  • As tecnologias e ferramentas do data engineerassinantes
  • Panorama dos diferentes tipos de bases de dadosassinantes
  • Gestão e execução de processamentos de dadosassinantes
  • Automatização e agendamento de tarefasassinantes
  • Descoberta dos fornecedores de serviços de cloudassinantes
  • As vantagens da cloud computingestá aqui
  • Apresentação dos principais fornecedores de cloudassinantes
  • Os diferentes serviços oferecidos na cloudassinantes
  • Os diferentes sistemas de gestão de bases de dadosassinantes
  • Comparar as bases de dados SQL e NoSQLassinantes
  • Conceção e organização dos esquemas de bases de dadosassinantes
  • Combinar tabelas através de junções relacionaisassinantes
  • Modelagem de dados com o esquema em estrelainscritos
  • Compreender os princípios da computação paralelainscritos
  • As vantagens do processamento paralelo de dadosinscritos
  • Decompor um processamento em várias tarefas independentesinscritos
  • Manipular dados com DataFramesinscritos
  • Os principais frameworks de computação distribuídainscritos
  • Descobrir as tecnologias Spark, Hadoop e Hiveinscritos
  • Agrupar e agregar dados com PySparkinscritos
  • Executar e gerir scripts PySparkinscritos
  • As ferramentas de agendamento e orquestração de workflowsinscritos
  • Automatizar processamentos com Airflow, Prefect e croninscritos
  • Criar e organizar DAGs com Apache Airflowinscritos
  • Os diferentes métodos de extração de dadosassinantes
  • Identificar e explorar as fontes de dadosassinantes
  • Extrair informações a partir de uma APIassinantes
  • Importar dados de uma base de dadosassinantes
  • As etapas de transformação de dadosassinantes
  • Extrair e decompor as informações relativas aos preços de aluguerassinantes
  • Preparar e organizar as operações de transformaçãoassinantes
  • Enriquecer os dados com junções às avaliaçõesassinantes
  • Os métodos de carregamento de dadosassinantes
  • Compreender as diferenças entre OLAP e OLTPassinantes
  • Exportar os dados para ficheirosassinantes
  • Inserir e armazenar dados no PostgreSQLassinantes
  • Montar as diferentes etapas de um processo ETLassinantes
  • Construir um grafo acíclico dirigido (DAG)assinantes
  • Configurar um ambiente Apache Airflowassinantes
  • Analisar e compreender a estrutura de um DAGassinantes
  • Familiarizar-se com a documentação dos cursosassinantes
  • Descobrir a estrutura da base de dadosassinantes
  • Explorar os dados com consultas SQLassinantes
  • Calcular a nota média atribuída a cada cursoassinantes
  • Aproveitar as avaliações para formular recomendaçõesassinantes
  • Detetar e excluir os dados incorretosassinantes
  • Aplicar as transformações necessárias à geração de recomendaçõesassinantes
  • Automatizar o agendamento dos processamentos diáriosassinantes
  • Determinar a tabela de destino dos dadosassinantes
  • Construir o DAG para orquestrar o processoassinantes
  • Ativar e executar o DAGassinantes
  • Consultar os dados para obter as recomendações geradasassinantes
  • Balanço do projeto de engenharia de dadosassinantes
  • Conclusão da formaçãoassinantes
Próxima lição

Apresentação dos principais provedores de nuvem

Ver o programa Crie uma conta para continuar