InícioCursosIntrodução aos fundamentos de engenharia de dados

Descoberta dos fornecedores de serviços cloud

Capítulo 2 · Primeiros passos na engenharia de dados · lição 10 de 59
Reservado aos subscritores — eis o seu início
A computação em nuvem, também chamada cloud computing, ocupa um lugar importante no domínio da engenharia de dados. Os engenheiros de dados utilizam amplamente estas tecnologias para armazenar, processar e gerir as informações. Por isso, é essencial compreender o seu funcionamento e as vantagens que oferecem às empresas. O processamento de dados graças à cloud Vejamos o exemplo do processamento de dados. Como vimos anteriormente, estas operações são frequentemente executadas em grupos de máquinas chamados clusters. Outrora, as empresas que precisavam de processar grandes quantidades de dados tinham de possuir o seu próprio centro de dados. Ela
A continuação desta lição é reservada aos subscritores Crie a sua conta gratuita para testar os exercícios de exemplo e, depois, passe para o acesso completo quando quiser.

Crie a sua conta gratuita

Sem cartão de crédito, em trinta segundos.
Continuar com o Google
ou
Inscrever-se com um e-mail
Já tem conta? Iniciar sessão
Ao continuar, aceita os termos de utilização e a política de privacidade. Os seus dados são alojados na União Europeia.

Acesso completo DATAGOZ

19 €/ mês — ou 190 € / ano
  • Todos os cursos publicados e os percursos profissionais
  • Exercícios e questionários corrigidos automaticamente
  • Treino, exame e certificado de frequência
  • Sem compromisso, cancelável online
Ver os planos
Esta lição faz parte do curso

Introdução aos fundamentos de data engineering

short_training6 capítulos · 59 lições

Descubra os fundamentos de data engineering para compreender a gestão dos dados!

  • A plataforma de formaçãosubscritores
  • Os fundamentos da engenharia de dadosassinantes
  • As missões e responsabilidades de um engenheiro de dadosassinantes
  • Engenheiro de dados e cientista de dados, compreender as suas diferençasassinantes
  • Os principais desafios da engenharia de dadosassinantes
  • As tecnologias e ferramentas do data engineerassinantes
  • Panorama dos diferentes tipos de bases de dadosassinantes
  • Gestão e execução de processamentos de dadosassinantes
  • Automatização e agendamento de tarefasassinantes
  • Descoberta dos fornecedores de serviços cloudvocê está aqui
  • As vantagens da computação em nuvemassinantes
  • Apresentação dos principais fornecedores de cloudassinantes
  • Os diferentes serviços oferecidos na cloudassinantes
  • Os diferentes sistemas de gestão de bases de dadosassinantes
  • Comparar as bases de dados SQL e NoSQLassinantes
  • Conceção e organização dos esquemas de bases de dadosassinantes
  • Combinar tabelas através de junções relacionaisassinantes
  • Modelagem de dados com o esquema em estrelainscritos
  • Compreender os princípios da computação paralelainscritos
  • As vantagens do processamento paralelo de dadosinscritos
  • Decompor um processamento em várias tarefas independentesinscritos
  • Manipular dados com DataFramesinscritos
  • Os principais frameworks de computação distribuídainscritos
  • Descobrir as tecnologias Spark, Hadoop e Hiveinscritos
  • Agrupar e agregar dados com PySparkinscritos
  • Executar e gerir scripts PySparkinscritos
  • As ferramentas de agendamento e orquestração de workflowsinscritos
  • Automatizar processamentos com Airflow, Prefect e croninscritos
  • Criar e organizar DAGs com Apache Airflowinscritos
  • Os diferentes métodos de extração de dadosassinantes
  • Identificar e explorar as fontes de dadosassinantes
  • Extrair informações a partir de uma APIassinantes
  • Importar dados de uma base de dadosassinantes
  • As etapas de transformação de dadosassinantes
  • Extrair e decompor as informações relativas aos preços de aluguerassinantes
  • Preparar e organizar as operações de transformaçãoassinantes
  • Enriquecer os dados com junções às avaliaçõesassinantes
  • Os métodos de carregamento de dadosassinantes
  • Compreender as diferenças entre OLAP e OLTPassinantes
  • Exportar os dados para ficheirosassinantes
  • Inserir e armazenar dados no PostgreSQLassinantes
  • Montar as diferentes etapas de um processo ETLassinantes
  • Construir um grafo acíclico dirigido (DAG)assinantes
  • Configurar um ambiente Apache Airflowassinantes
  • Analisar e compreender a estrutura de um DAGassinantes
  • Familiarizar-se com a documentação dos cursosassinantes
  • Descobrir a estrutura da base de dadosassinantes
  • Explorar os dados com consultas SQLassinantes
  • Calcular a nota média atribuída a cada cursoassinantes
  • Aproveitar as avaliações para formular recomendaçõesassinantes
  • Detetar e excluir os dados incorretosassinantes
  • Aplicar as transformações necessárias à geração de recomendaçõesassinantes
  • Automatizar o agendamento dos processamentos diáriosassinantes
  • Determinar a tabela de destino dos dadosassinantes
  • Construir o DAG para orquestrar o processoassinantes
  • Ativar e executar o DAGassinantes
  • Consultar os dados para obter as recomendações geradasassinantes
  • Balanço do projeto de engenharia de dadosassinantes
  • Conclusão da formaçãoassinantes
Próxima lição

As vantagens da cloud computing

Ver o programa Crie uma conta para continuar