AccueilCoursInitiation aux fondamentaux du data engineering

Les fondamentaux de l’ingénierie des données

Chapitre 2 · Premiers pas dans l’ingénierie des données · leçon 2 sur 59
Réservée aux abonnés — voici son début
Si vous avez déjà entendu parler de science des données, il est fort probable que vous connaissiez également l’ingénierie des données. Ce domaine joue un rôle essentiel dans l’exploitation des données et leur mise à disposition pour les analyses. Il permet notamment de faciliter le travail des professionnels qui utilisent les données pour en tirer des informations pertinentes. Les grandes étapes de l’ingénierie des données Dans un premier temps, nous allons découvrir le concept d’ingénierie des données et comprendre son importance. Ensuite, nous aborderons les principaux outils utilisés par les ingénieurs des données. Le troisième volet sera consacré à l’Extraction, la Transformation et le C
La suite de cette leçon est réservée aux abonnés Créez votre compte gratuit pour tester les exercices d’exemple, puis passez à l'accès complet quand vous le souhaitez.

Créez votre compte gratuit

Sans carte bancaire, en trente secondes.
Continuer avec Google
ou
S'inscrire avec un e-mail
Déjà inscrit ? Se connecter
En continuant, vous acceptez les conditions d'utilisation et la politique de confidentialité. Vos données sont hébergées dans l'Union européenne.

Accès complet DATAGOZ

19 €/ mois — ou 190 € / an
  • Tous les cours publiés et les parcours métier
  • Exercices et quiz corrigés automatiquement
  • Entraînement, examen et attestation de suivi
  • Sans engagement, résiliable en ligne
Voir les formules
Cette leçon fait partie du cours

Initiation aux fondamentaux du data engineering

short_training6 chapitres · 59 leçons

Découvrez les fondamentaux du data engineering pour comprendre la gestion des données !

  • La plateforme de formationabonnés
  • Les fondamentaux de l’ingénierie des donnéesvous êtes ici
  • Les missions et responsabilités d’un ingénieur dataabonnés
  • Ingénieur data et data scientist, comprendre leurs différencesabonnés
  • Les principaux défis de l’ingénierie des donnéesabonnés
  • Les technologies et outils du data engineerabonnés
  • Panorama des différents types de bases de donnéesabonnés
  • Gestion et exécution des traitements de donnéesabonnés
  • Automatisation et planification des tâchesabonnés
  • Découverte des fournisseurs de services cloudabonnés
  • Les avantages du cloud computingabonnés
  • Présentation des principaux fournisseurs cloudabonnés
  • Les différents services proposés dans le cloudabonnés
  • Les différents systèmes de gestion de bases de donnéesabonnés
  • Comparer les bases de données SQL et NoSQLabonnés
  • Conception et organisation des schémas de bases de donnéesabonnés
  • Combiner des tables grâce aux jointures relationnellesabonnés
  • Modélisation des données avec le schéma en étoileabonnés
  • Comprendre les principes du calcul parallèleabonnés
  • Les avantages du traitement parallèle des donnéesabonnés
  • Décomposer un traitement en plusieurs tâches indépendantesabonnés
  • Manipuler les données à l’aide des DataFramesabonnés
  • Les principaux frameworks de calcul distribuéabonnés
  • Découvrir les technologies Spark, Hadoop et Hiveabonnés
  • Regrouper et agréger des données avec PySparkabonnés
  • Exécuter et gérer des scripts PySparkabonnés
  • Les outils de planification et d’orchestration des workflowsabonnés
  • Automatiser les traitements avec Airflow, Prefect et cronabonnés
  • Créer et organiser des DAG avec Apache Airflowabonnés
  • Les différentes méthodes d’extraction des donnéesabonnés
  • Identifier et explorer les sources de donnéesabonnés
  • Extraire des informations à partir d’une APIabonnés
  • Importer des données depuis une base de donnéesabonnés
  • Les étapes de transformation des donnéesabonnés
  • Extraire et décomposer les informations relatives aux prix de locationabonnés
  • Préparer et organiser les opérations de transformationabonnés
  • Enrichir les données grâce aux jointures avec les évaluationsabonnés
  • Les méthodes de chargement des donnéesabonnés
  • Comprendre les différences entre OLAP et OLTPabonnés
  • Exporter les données dans des fichiersabonnés
  • Insérer et stocker des données dans PostgreSQLabonnés
  • Assembler les différentes étapes d’un processus ETLabonnés
  • Construire un graphe orienté acyclique (DAG)abonnés
  • Configurer un environnement Apache Airflowabonnés
  • Analyser et comprendre la structure d’un DAGabonnés
  • Prendre connaissance de la documentation des coursabonnés
  • Découvrir la structure de la base de donnéesabonnés
  • Explorer les données à l’aide de requêtes SQLabonnés
  • Calculer la note moyenne attribuée à chaque coursabonnés
  • Exploiter les évaluations pour formuler des recommandationsabonnés
  • Détecter et exclure les données erronéesabonnés
  • Appliquer les transformations nécessaires à la génération de recommandationsabonnés
  • Automatiser la planification des traitements quotidiensabonnés
  • Déterminer la table de destination des donnéesabonnés
  • Construire le DAG pour orchestrer le processusabonnés
  • Activer et lancer le DAGabonnés
  • Interroger les données pour obtenir les recommandations généréesabonnés
  • Bilan du projet d’ingénierie des donnéesabonnés
  • Conclusion de la formationabonnés
Leçon suivante

Les missions et responsabilités d’un ingénieur data

Voir le programme Créer un compte pour continuer