Big Data Engineer - Programme de maîtrise

Un programme de formation et de certification unique !

Ce programme de Master Ingénieur Big Data, développé en partenariat avec IBM, propose une formation aux compétences compétitives nécessaires à une carrière enrichissante dans l'ingénierie des données. Vous apprendrez à maîtriser le framework big data Hadoop, à exploiter les fonctionnalités d'Apache Spark avec Python, à simplifier les lignes de données avec Apache Kafka, et à utiliser l'outil de gestion de base de données open source MongoDB pour stocker les données dans les environnements big data.

Les principales caractéristiques de la formation

• Certifications d'IBM (pour les cours IBM) et d'AVC reconnues par l'industrie
• Des projets finaux en situation réelle qui fournissent une formation pratique à l'industrie
• Plus de 30 compétences fréquemment demandées
• Accès à vie à l'apprentissage en ligne
• 35 heures d'auto-apprentissage
• 132 heures de formation avec instructeur
• Classes de maître, sessions de mentorat exclusives et hackathons organisés par IBM

Objectifs du programme

A l'issue de ce programme de Master Ingénieur Big Data, vous serez en mesure de

• Acquérir une compréhension approfondie des cadres flexibles et polyvalents de l'écosystème Hadoop, tels que Pig, Hive, Impala, HBase, Sqoop, Flume et Yarn.
• Maîtriser les outils et les compétences tels que la modélisation des données, les interfaces de base de données, l'architecture avancée, Spark, Sala, RDD, SparkSQL, Spark Streaming, Spark ML, GraphX, Sqoop, Flume, Pig, Hive, Impala et l'architecture Kafka.
• Comprendre comment modéliser, collecter, répliquer et partager des données avec le système de gestion de base de données NoSQL MongoDB.
• Acquérir une expertise dans la création et la maintenance de l'infrastructure analytique et prendre en charge le développement, le déploiement, la maintenance et la surveillance des composants de l'architecture.
• Apprendre à améliorer la productivité de l'entreprise en traitant de grands ensembles de données sur des plates-formes capables de gérer leur volume, leur vitesse, leur variété et leur richesse.
• Apprendre comment Kafka est utilisé dans la pratique, y compris son architecture et ses composants, acquérir une expérience pratique en connectant Kafka à Spark et en travaillant avec Kafka Connect.
• Comprendre comment utiliser Amazon EMR pour traiter les données à l'aide des outils de l'écosystème Hadoop.

Public cible

Un ingénieur Big Data construit et maintient des structures de données et des architectures pour ingérer, traiter et distribuer des données pour des applications à grande échelle et à forte intensité de données. Il s'agit d'une carrière prometteuse pour les nouveaux professionnels et les professionnels expérimentés passionnés par les données :

• Professionnels de l'informatique
• Professionnels de la banque et de la finance
• Administrateurs de bases de données
• Débutants en ingénierie informatique
• Étudiants dans des programmes UG/PG

Programmes de master avec contenu

1. Big Data pour l'ingénierie des données (1 heure)
2. Développeurs Big Data Hadoop et Spark (84 heures)
3. Formation PySpark (3 heures)
4. Développeur et administrateur MongoDB (56 heures)
5. Apache Kafke (10 heures)
6. Bases techniques AWS (17,5 heures)
7. Certification AWS Big Data (61 heures)
8. Projet d'examen Big Data (56 heures)
10. Certificat de maîtrise
12. * Et vous obtenez des certificats individuels pour chaque cours.

Cours supplémentaires / bonus :

• AWS Technical Essentials
• Certification Java
• Master Class en industrie - Ingénierie informatique

Vous n'êtes pas obligé de suivre ces cours pour obtenir votre certificat de master. Vous avez la possibilité de suivre ces cours dans le cadre du programme global.

1) Big Data pour l'ingénierie informatique

Dans ce cours d'introduction d'IBM, vous apprendrez les concepts de base et la terminologie du big data et ses applications dans diverses industries. Vous comprendrez comment améliorer la productivité des entreprises en traitant les big data et en extrayant des informations précieuses.

Principaux objectifs d'apprentissage

Comprendre ce qu'est le big data, les sources de big data et les exemples de la vie réelle

Apprendre la différence clé entre le big data et la science des données

Maîtriser l'utilisation du big data pour l'analyse opérationnelle et un meilleur service à la clientèle

Acquérir des connaissances sur l'écosystème du big data et le cadre Hadoop.

Plan du cours

• Leçon 1 - Qu'est-ce que le big data ?
• Leçon 2 - Big data : au-delà du battage médiatique
• Leçon 3 - Big data et science des données
• Leçon 4 - Cas d'utilisation
• Leçon 5 - Traitement des Big Data

2. développeurs de Big Data Hadoop et Spark

La formation Big Data Hadoop d'AVC vous aidera à apprendre les outils de l'écosystème Big Data et Hadoop tels que HDFS, YARN, MapReduce, Hive, Impala, Pig, HBase, Spark, Flume, Sqoop, et Hadoop Frameworks, y compris les concepts supplémentaires du cycle de vie du traitement des Big Data. Pendant ce cours en ligne dirigé par un instructeur sur Hadoop, vous travaillerez sur des projets en temps réel dans le commerce de détail, le tourisme, la finance et d'autres domaines. Ce cours sur les big data vous préparera également à la certification CCA175 Big Data de Cloudera.

Objectifs d'apprentissage clés

• Apprendre à naviguer dans l'écosystème Hadoop et comprendre comment optimiser son utilisation
• Ingestion de données avec Sqoop, Flume et Kafka
• Mettre en œuvre le partitionnement, le stockage et l'indexation dans Hive
• Travailler avec RDD dans Apache Spark
• Traiter les données en continu en temps réel
• Effectuer des opérations DataFrame dans Spark avec des requêtes SQL
• Mettre en œuvre des fonctions définies par l'utilisateur (UDF) et des fonctions d'attributs définies par l'utilisateur (UDAF) dans Spark.

Plan du cours

• Leçon 1 - Introduction aux Bigdata et à Hadoop
• Leçon 2 - L'architecture de stockage distribuée de Hadoop (HDFS) et YARN
• Leçon 3 - Saisie des données dans les systèmes Big Data et ETL.
• Leçon 4 - Traitement distribué MapReduce et Pig
• Leçon 5 - Apache Hive
• Leçon 6 - Bases de données NoSQL HBase
• Leçon 7 - Bases de la programmation fonctionnelle et Scala
• Leçon 8 - Apache Spark, la nouvelle génération de framework big data
• Leçon 9 - Traitement des RDD par Spark Core
• Leçon 10 - Traitement Spark SQL de DataFramesspan
• Leçon 11 - Spark MLLib Modélisation des BigData avec Spark
• Leçon 12 - Cadre de traitement des flux et Spark Streaming
• Leçon 13 - Spark GraphX

3. formation PySpark

La formation Pyspark offre une vue d'ensemble approfondie d'Apache Spark, le moteur de requête open-source pour le traitement de grands ensembles de données, et comment l'intégrer à Python en utilisant l'interface PySpark. Ce cours montre comment construire et déployer des applications intensives en données tout en se plongeant dans l'apprentissage automatique de haute performance. Vous apprendrez à utiliser Spark RDD, Spark SQL, Spark MLlib, Spark Streaming, HDFS, Sqoop, Flume, Spark GraphX et Kafka.

Objectifs d'apprentissage clés

• Comprendre comment utiliser les fonctionnalités de Python dans l'écosystème Spark.
• Maîtriser l'architecture d'Apache Spark et configurer un environnement Python pour Spark.
• Apprendre les différentes techniques de collecte de données, comprendre les RDD et les comparer aux DataFrames, lire les données à partir de fichiers et de HDFS et travailler avec des schémas.
• Acquérir une connaissance approfondie des différents outils qui font partie de l'écosystème Spark, tels que Spark SQL, Spark MlLib, Sqoop, Kafka, Flume, et Spark Streaming.
• Créer et explorer différentes API pour travailler avec les DataFrames Spark et apprendre à agréger, transformer, filtrer et trier les données avec les DataFrames.

Syllabus

• Leçon 01 - Une brève introduction à Pyspark
• Leçon 02 - Les ensembles de données distribués robustes
• Leçon 03 - Ensembles de données distribués et actions résilientes
• Leçon 04 - DataFrames et transformations
• Leçon 05 - Traitement des données avec Spark DataFrames

4. Apache Kafka

Dans ce cours de certification Apache Kafka, vous apprendrez l'architecture, l'installation, la configuration et les interfaces de la messagerie open source Kafka. Avec cette formation Kafka, vous apprendrez les bases d'Apache ZooKeeper en tant que service centralisé et développerez les compétences pour déployer Kafka pour la messagerie en temps réel. Ce cours fait partie du programme de maîtrise Big Data Hadoop Architect et est recommandé aux développeurs et aux analystes qui souhaitent étendre leur expertise.

Objectifs d'apprentissage clés

• Décrire l'importance du Big Data
• Décrire les concepts de base de Kafka
• Décrire l'architecture de Kafka
• Expliquer comment installer et configurer Kafka
• Expliquer comment utiliser Kafka pour la messagerie en temps réel

Plan du cours

• Leçon 1 - Démarrer avec Big Data et Apache Kafka
• Leçon 2 - Le producteur Kafka
• Leçon 3 - Consommateur Kafka
• Leçon 4 - Opérations Kafka et optimisation des performances
• Leçon 5 - Architecture du cluster Kafka et gestion de Kafka
• Leçon 6 - Surveillance de Kafka et planification des registres
• Leçon 7 - Streams Kafka et connecteurs Kafka
• Leçon 8 - Intégration de Kafka avec Storm
• Leçon 9 - Intégration de Kafka avec Spark et Flume
• Leçon 10 - Client d'administration et sécurité pour Kafka

5. développeur et administrateur MongoDB

Devenez un développeur et un administrateur MongoDB expert avec une connaissance approfondie de NoSQL et maîtrisez les compétences de modélisation des données, d'ingestion, de requête, de sharding et de réplication des données. Le cours comprend des projets industriels dans les domaines de l'apprentissage en ligne et des télécommunications. Ce cours est particulièrement adapté aux administrateurs de bases de données, aux développeurs de logiciels, aux administrateurs de systèmes et aux analystes.

Objectifs d'apprentissage clés

• Développer une expertise dans l'écriture d'applications Java et NodeJS avec MongoDB
• Maîtriser la réplication et le partage des données dans MongoDB pour optimiser les performances de lecture et d'écriture
• Installer, configurer et maintenir l'environnement MongoDB
• Acquérir une expérience pratique de la création et de la gestion de différents types d'index dans
• MongoDB pour l'exécution des requêtes
• Stocker habilement des données non structurées dans MongoDB
• Développer des compétences pour traiter de grandes quantités de données avec les outils MongoDB
• Acquérir des compétences en matière de configuration de MongoDB, de méthodes de sauvegarde et de stratégies de surveillance et d'exploitation.
• Se plonger dans la gestion des DB Notes, des ensembles de répliques et des concepts maître-esclave.

Plan du cours

• Leçon 1 - Introduction aux bases de données NoSQL
• Leçon 2 - MongoDB : une base de données pour le Web moderne
• Leçon 3 - Opérations CRUD dans MongoDB
• Leçon 4 - Indexation et agrégation
• Leçon 5 - Réplication et sharding
• Leçon 6 - Développement d'applications Java et Node JS avec MongoDB
• Leçon 7 - Gestion des opérations de cluster MongoDB

6. l'essentiel technique AWS

Dans ce cours AWS Technical Essentials, vous apprendrez à naviguer dans la console de gestion AWS, à comprendre les options de sécurité, de stockage et de base de données AWS, et à acquérir une expertise dans les services web tels que RDS et EBS. Créé en conformité avec le dernier syllabus AWS, ce cours vous aidera à identifier et à utiliser efficacement les services AWS.

Objectifs d'apprentissage clés

• Comprendre les concepts de base de la plateforme AWS et du cloud computing
• Identifier les concepts, la terminologie, les avantages et les options de déploiement d'AWS pour répondre aux besoins de l'entreprise
• Identifier les options de déploiement et de mise en réseau dans AWS

Syllabus

• Leçon 01 - Introduction à l'informatique en nuage
• Leçon 02 - Introduction à AWS
• Leçon 03 - Stockage et diffusion de contenu
• Leçon 04 - Services de calcul et mise en réseau
• Leçon 05 - Services gérés AWS et bases de données
• Leçon 06 - Déploiement et gestion

7 Formation pour la certification AWS Big Data

Dans ce cours de certification AWS Big Data, vous vous familiariserez avec des concepts tels que le cloud computing et ses modèles de déploiement, la plateforme cloud Amazon web services, Kinesis Analytics, les services de stockage, de traitement, d'analyse, de visualisation et de sécurité AWS big data, EMR, AWS Lambda et Glue, les algorithmes d'apprentissage automatique, et bien plus encore.

Objectifs d'apprentissage clés

• Découvrir comment utiliser Amazon EMR pour traiter les données à l'aide des outils de l'écosystème Hadoop
• Comprendre comment utiliser Amazon Kinesis pour traiter les big data en temps réel
• Analyser et transformer de grands ensembles de données avec Kinesis Streams
• Visualiser les données et exécuter des requêtes avec Amazon QuickSight

Programme du cours

• Leçon 01 - Introduction à AWS dans le domaine du Big Data.
• Leçon 02 - Collecte
• Leçon 03 - Stockage
• Leçon 04 - Traitement I
• Leçon 05 - Traitement II
• Leçon 06 - Analyse I
• Leçon 07 - Analyse II
• Leçon 08 - Visualisation
• Leçon 09 - Sécurité

8. Projet final sur les Big Data

Ce projet final sur les Big Data vous donne l'occasion d'appliquer les compétences que vous avez acquises au cours de ce programme. Vous apprendrez à résoudre un vrai problème de big data grâce à des sessions de mentorat dédiées. Ce projet est la dernière étape du programme et vous donne l'occasion de démontrer votre expertise en matière de Big Data à de futurs employeurs.

9. cours supplémentaires :

AWS Technical Essentials

Ce cours AWS Technical Essentials vous apprendra à naviguer dans la console de gestion AWS, à comprendre les options de sécurité, de stockage et de base de données AWS, et à acquérir une expertise dans les services web tels que RDS et EBS. Créé en conformité avec le dernier syllabus AWS, ce cours vous aidera à identifier et à utiliser efficacement les services AWS.

Formation certifiante en Java

Cette formation de certification avancée en Java est conçue pour vous faire découvrir les concepts de Java, des techniques d'introduction aux compétences de programmation avancées. Ce cours de Java vous permet également d'acquérir des connaissances sur Core Java 8, les opérateurs, les tableaux, les boucles, les méthodes et les constructeurs, tout en vous donnant une expérience pratique de JDBC et du framework JUnit.

Master Class pour l'industrie - Génie informatique

Participez à une master class interactive en ligne et découvrez le monde de l'ingénierie des données.

QUESTIONS ET RÉPONSES

Quelle est la valeur d'un certificat de master ?

Les programmes de master de l'AVC vous aident à maîtriser des compétences très demandées à un rythme plus rapide et à accroître vos chances de trouver un emploi. Quels que soient vos objectifs de carrière, que vous soyez un professionnel débutant ou que vous recherchiez des opportunités de développement de compétences pour changer de carrière, les programmes de master de l'AVC vous aideront à accélérer ces objectifs. Ces certificats sont très demandés.

Remarque : nous ne sommes pas une université et ne délivrons pas de diplômes universitaires. Ce Master signifie que vous avez suivi l'intégralité du programme et acquis toutes les connaissances essentielles sur le sujet, le maîtrisant ainsi parfaitement. Chaque cours/partie du programme donne également lieu à un certificat.

Quelles sont les connaissances et l'expérience requises pour les programmes de master ?

En général, aucune expérience préalable n'est requise pour participer au programme. Le programme commence au niveau de l'introduction et se poursuit (étape par étape) jusqu'au niveau de l'expertise. Toutefois, il est toujours utile d'avoir des connaissances ou une expérience de base dans le domaine concerné. En savoir plus sur les détails de votre cours spécifique.

Ce programme est autodidacte, ce qui vous permet d'apprendre à votre propre rythme. Vous commencerez par un module d'apprentissage pratique en ligne, suivi d'une série de cours en ligne adaptés à vos besoins. Vous avez la liberté de choisir les dates et les heures qui conviennent le mieux à votre emploi du temps - et si vous manquez une session, vous pouvez facilement la reprogrammer. Chaque session est enregistrée, ce qui vous permet de revoir la matière autant de fois que nécessaire.

À la fin du programme, vous aurez acquis des connaissances approfondies et serez en mesure de les démontrer et de les appliquer dans le cadre d'une série de tâches et de projets pratiques.

Combien de temps faut-il pour terminer le programme de master ?

C'est une question très personnelle. Certaines personnes suivent le programme assez rapidement (environ 2 à 3 mois), d'autres ont besoin de plus de temps. Vous avez accès au programme et à l'apprentissage en ligne pendant un an. Si vous consacrez 5 à 10 heures par semaine au programme, il vous faudra environ 6 mois pour le terminer. Remarque : certains autres programmes de master prennent plus de temps. Il s'agit d'une estimation.

Quelle est la structure des programmes de master ? Dois-je me rendre dans un centre d'apprentissage ?

La majorité des programmes sont entièrement basés sur l'apprentissage à distance. La plupart d'entre eux comprennent des cours intensifs en ligne avec eLearning que vous pouvez suivre à votre propre rythme. Ces parcours d'apprentissage consistent en différents cours et sujets liés à des compétences spécifiques pour un rôle ou un emploi. Il existe également des sessions de cours en ligne via notre système avancé d'apprentissage professionnel à distance. Vous avez le choix entre différents créneaux horaires et nous enregistrons toujours les sessions afin que vous puissiez les réécouter si vous avez oublié quelque chose ou si vous souhaitez revoir certaines informations. Quelqu'un est toujours là pour vous aider et vous soutenir si vous avez des questions sur les compétences que vous apprenez.

Quand puis-je suivre les cours de master en ligne ?

Le calendrier des cours varie d'un groupe à l'autre. Vous aurez accès à un tableau de bord avec plusieurs plages horaires pour chaque session ou sujet, de sorte que vous pourrez choisir ce qui vous convient le mieux. Les sessions peuvent être programmées l'après-midi en semaine, le matin ou le soir le week-end, en fonction de l'intérêt des participants et de la disponibilité du formateur. Si vous manquez une session, vous pouvez toujours la rattraper en regardant les enregistrements, de sorte que vous ne manquiez jamais aucun contenu.

Quand puis-je débloquer mon certificat de master ?

Une fois que vous aurez suivi au moins 85 % du contenu du cours, votre certificat pourra être débloqué. Cela s'applique à tous les programmes de master. L'un des critères d'obtention du certificat de master est la participation aux cours en direct. Toutefois, des exceptions peuvent être faites si vous n'êtes pas en mesure d'assister aux cours en direct, mais que vous devez tout de même regarder les enregistrements. Renseignez-vous sur votre cours spécifique ou envoyez-nous un courriel pour plus d'informations.