AccueilCoursInitiation aux fondamentaux du data engineering

Découverte des fournisseurs de services cloud

Chapitre 2 · Premiers pas dans l’ingénierie des données · leçon 10 sur 59
Réservée aux abonnés — voici son début
L'informatique en nuage, également appelée cloud computing, occupe une place importante dans le domaine de l'ingénierie des données. Les ingénieurs des données utilisent largement ces technologies pour stocker, traiter et gérer les informations. Il est donc essentiel de comprendre leur fonctionnement et les avantages qu'elles offrent aux entreprises. Le traitement des données grâce au cloud Prenons l'exemple du traitement des données. Comme nous l'avons vu précédemment, ces opérations sont souvent exécutées sur des groupes de machines appelés clusters. Autrefois, les entreprises qui avaient besoin de traiter de grandes quantités de données devaient posséder leur propre centre de données. Ell
La suite de cette leçon est réservée aux abonnés Créez votre compte gratuit pour tester les exercices d’exemple, puis passez à l'accès complet quand vous le souhaitez.

Créez votre compte gratuit

Sans carte bancaire, en trente secondes.
Continuer avec Google
ou
S'inscrire avec un e-mail
Déjà inscrit ? Se connecter
En continuant, vous acceptez les conditions d'utilisation et la politique de confidentialité. Vos données sont hébergées dans l'Union européenne.

Accès complet DATAGOZ

19 €/ mois — ou 190 € / an
  • Tous les cours publiés et les parcours métier
  • Exercices et quiz corrigés automatiquement
  • Entraînement, examen et attestation de suivi
  • Sans engagement, résiliable en ligne
Voir les formules
Cette leçon fait partie du cours

Initiation aux fondamentaux du data engineering

short_training6 chapitres · 59 leçons

Découvrez les fondamentaux du data engineering pour comprendre la gestion des données !

  • La plateforme de formationabonnés
  • Les fondamentaux de l’ingénierie des donnéesabonnés
  • Les missions et responsabilités d’un ingénieur dataabonnés
  • Ingénieur data et data scientist, comprendre leurs différencesabonnés
  • Les principaux défis de l’ingénierie des donnéesabonnés
  • Les technologies et outils du data engineerabonnés
  • Panorama des différents types de bases de donnéesabonnés
  • Gestion et exécution des traitements de donnéesabonnés
  • Automatisation et planification des tâchesabonnés
  • Découverte des fournisseurs de services cloudvous êtes ici
  • Les avantages du cloud computingabonnés
  • Présentation des principaux fournisseurs cloudabonnés
  • Les différents services proposés dans le cloudabonnés
  • Les différents systèmes de gestion de bases de donnéesabonnés
  • Comparer les bases de données SQL et NoSQLabonnés
  • Conception et organisation des schémas de bases de donnéesabonnés
  • Combiner des tables grâce aux jointures relationnellesabonnés
  • Modélisation des données avec le schéma en étoileabonnés
  • Comprendre les principes du calcul parallèleabonnés
  • Les avantages du traitement parallèle des donnéesabonnés
  • Décomposer un traitement en plusieurs tâches indépendantesabonnés
  • Manipuler les données à l’aide des DataFramesabonnés
  • Les principaux frameworks de calcul distribuéabonnés
  • Découvrir les technologies Spark, Hadoop et Hiveabonnés
  • Regrouper et agréger des données avec PySparkabonnés
  • Exécuter et gérer des scripts PySparkabonnés
  • Les outils de planification et d’orchestration des workflowsabonnés
  • Automatiser les traitements avec Airflow, Prefect et cronabonnés
  • Créer et organiser des DAG avec Apache Airflowabonnés
  • Les différentes méthodes d’extraction des donnéesabonnés
  • Identifier et explorer les sources de donnéesabonnés
  • Extraire des informations à partir d’une APIabonnés
  • Importer des données depuis une base de donnéesabonnés
  • Les étapes de transformation des donnéesabonnés
  • Extraire et décomposer les informations relatives aux prix de locationabonnés
  • Préparer et organiser les opérations de transformationabonnés
  • Enrichir les données grâce aux jointures avec les évaluationsabonnés
  • Les méthodes de chargement des donnéesabonnés
  • Comprendre les différences entre OLAP et OLTPabonnés
  • Exporter les données dans des fichiersabonnés
  • Insérer et stocker des données dans PostgreSQLabonnés
  • Assembler les différentes étapes d’un processus ETLabonnés
  • Construire un graphe orienté acyclique (DAG)abonnés
  • Configurer un environnement Apache Airflowabonnés
  • Analyser et comprendre la structure d’un DAGabonnés
  • Prendre connaissance de la documentation des coursabonnés
  • Découvrir la structure de la base de donnéesabonnés
  • Explorer les données à l’aide de requêtes SQLabonnés
  • Calculer la note moyenne attribuée à chaque coursabonnés
  • Exploiter les évaluations pour formuler des recommandationsabonnés
  • Détecter et exclure les données erronéesabonnés
  • Appliquer les transformations nécessaires à la génération de recommandationsabonnés
  • Automatiser la planification des traitements quotidiensabonnés
  • Déterminer la table de destination des donnéesabonnés
  • Construire le DAG pour orchestrer le processusabonnés
  • Activer et lancer le DAGabonnés
  • Interroger les données pour obtenir les recommandations généréesabonnés
  • Bilan du projet d’ingénierie des donnéesabonnés
  • Conclusion de la formationabonnés
Leçon suivante

Les avantages du cloud computing

Voir le programme Créer un compte pour continuer