Cette leçon fait partie du cours
Initiation aux fondamentaux du data engineering
short_training6 chapitres · 59 leçons
Découvrez les fondamentaux du data engineering pour comprendre la gestion des données !
1. Message de bienvenue1 leçon
La plateforme de formationabonnés
2. Premiers pas dans l’ingénierie des données12 leçons
Les fondamentaux de l’ingénierie des donnéesabonnés Les missions et responsabilités d’un ingénieur datavous êtes ici Ingénieur data et data scientist, comprendre leurs différencesabonnés Les principaux défis de l’ingénierie des donnéesabonnés Les technologies et outils du data engineerabonnés Panorama des différents types de bases de donnéesabonnés Gestion et exécution des traitements de donnéesabonnés Automatisation et planification des tâchesabonnés Découverte des fournisseurs de services cloudabonnés Les avantages du cloud computingabonnés Présentation des principaux fournisseurs cloudabonnés Les différents services proposés dans le cloudabonnés
3. Les outils indispensables pour l’ingénierie des données16 leçons
Les différents systèmes de gestion de bases de donnéesabonnés Comparer les bases de données SQL et NoSQLabonnés Conception et organisation des schémas de bases de donnéesabonnés Combiner des tables grâce aux jointures relationnellesabonnés Modélisation des données avec le schéma en étoileabonnés Comprendre les principes du calcul parallèleabonnés Les avantages du traitement parallèle des donnéesabonnés Décomposer un traitement en plusieurs tâches indépendantesabonnés Manipuler les données à l’aide des DataFramesabonnés Les principaux frameworks de calcul distribuéabonnés Découvrir les technologies Spark, Hadoop et Hiveabonnés Regrouper et agréger des données avec PySparkabonnés Exécuter et gérer des scripts PySparkabonnés Les outils de planification et d’orchestration des workflowsabonnés Automatiser les traitements avec Airflow, Prefect et cronabonnés Créer et organiser des DAG avec Apache Airflowabonnés
4. Extract, Transform and Load (ETL)16 leçons
Les différentes méthodes d’extraction des donnéesabonnés Identifier et explorer les sources de donnéesabonnés Extraire des informations à partir d’une APIabonnés Importer des données depuis une base de donnéesabonnés Les étapes de transformation des donnéesabonnés Extraire et décomposer les informations relatives aux prix de locationabonnés Préparer et organiser les opérations de transformationabonnés Enrichir les données grâce aux jointures avec les évaluationsabonnés Les méthodes de chargement des donnéesabonnés Comprendre les différences entre OLAP et OLTPabonnés Exporter les données dans des fichiersabonnés Insérer et stocker des données dans PostgreSQLabonnés Assembler les différentes étapes d’un processus ETLabonnés Construire un graphe orienté acyclique (DAG)abonnés Configurer un environnement Apache Airflowabonnés Analyser et comprendre la structure d’un DAGabonnés
5. Étude pratique d’un projet d’ingénierie des données13 leçons
Prendre connaissance de la documentation des coursabonnés Découvrir la structure de la base de donnéesabonnés Explorer les données à l’aide de requêtes SQLabonnés Calculer la note moyenne attribuée à chaque coursabonnés Exploiter les évaluations pour formuler des recommandationsabonnés Détecter et exclure les données erronéesabonnés Appliquer les transformations nécessaires à la génération de recommandationsabonnés Automatiser la planification des traitements quotidiensabonnés Déterminer la table de destination des donnéesabonnés Construire le DAG pour orchestrer le processusabonnés Activer et lancer le DAGabonnés Interroger les données pour obtenir les recommandations généréesabonnés Bilan du projet d’ingénierie des donnéesabonnés
6. Conclusion1 leçon
Conclusion de la formationabonnés