AIMAF

Formation Apache Spark PDF Print E-mail

L'association AIMAF organise les 16, 17 Février, 2 et 3 Mars 2019 une nouvelle session de formation de 4 jours autour de Apache Spark.

https://www.helloasso.com/assets/img/photos/evenements/apache-spark-cced29cdc5fa4aedb13d7164f852d6f3.jpg?bb=0x0x900x450&sb=900x476

Apache Spark est devenu aujourd’hui un framework incontournable du traitement des données Big Data, qu’elles soient structurées, non-structurées, devant être traitées en batch ou en streaming.

Durant cette formation, vous apprendrez à manipuler les données avec Spark qu’elles soient stockées dans HDFS, S3, une base NoSQL ou tout autre système de stockage distribué, et vous serez en mesure d’acquérir, par de la pratique, le savoir nécessaire vous permettant de devenir autonome face à cette technologie.

Le contenu de cette formation couvre tous les chapitres nécessaires à la preparation à la certification Hadoop & Spark pour développeur auprès de Cloudera et/ou Hortonworks.

Déroulement de la formation :
Pour chaque principe, nous verrons les bases, le pourquoi du comment avant de commencer à manipuler l’outil; cela vous permettra d’avoir une vue globale, contextuelle et avec l’œil critique d’un ingénieur.

Les exercices seront corrigés et expliqués au fur et à mesure du déroulement de la formation, avec pour chaque partie, les ressources et les moyens pour pouvoir aller plus loin, pour les plus curieux !

Prérequis :
Avoir des bases en JAVA, SCALA ou PYTHON est un plus

Paiement et inscription :
Inscription - Formation Spark Paris Février 2019
Le nombre des places est strictement limité

Dates:
4 jours : les 16, 17 Février, 2 et 3 Mars 2019

A propos de notre formateur :
Data Engineer, confirmé et ayant travaillé pour des grands comptes ainsi que des startups en France. Il anime des formations professionnelles certifiantes auprès de certains organismes français, européens et asiatiques, et est intervenant professionnel auprès de l’ESGI, Paris Descartes et l’UPEC (ESIPE, ex ESIAG). Il est également conférencier et anime à la fois des conférences techniques et de l’évangélisation.

Certification :
Le formateur vous donnera les bons conseils pour la préparation

Programme détaillé de la formation :

Présentation de l’écosystème Hado
op

  • Qu’est ce qu’un système distribué ?
  • Fonctionnement de Hadoop
  • Zoom sur l’algorithme Map Reduce
  • Hadoop 1 & Hadoop 2
  • Introduction aux Workflows Oozie
  • YARN et gestion de ressources

Les Bases de Apache Spark

  • Spark Shell et interaction avec HDFS
  • Compréhension et manipulation des RDD
  • Exemples et exercices concrets
  • L’Aggrégation des données avec les Pair-RDD
  • Exemples et exercices concrets

Manipulation des données structurées avec Spark

  • Les DataFrames
  • Les Datasets
  • Contextes d’utilisation : DataFrames vs RDD
  • Lecture et écriture des données dans différents formats : AVRO, CSV, PARQUET, …
  • Lecture des données générées à travers Hive & Impala
  • Exercices pratiques

Déploiement d’une application Spark dans un Cluster

  • Ecrire et Packager une application Spark
  • Introduction à SBT
  • Déployer une application Spark à l’aide de Spark-Submit
  • Gérer le workflow d’une application Spark à l’aide de Oozie
  • Debugger une application Spark (SPARKUI, Logs YARN, …)
  • Atelier Pratique

Ingestion de données

  • Importer les données d’une base de données relationnelle vers HDFS
  • Exporter les données depuis HDFS vers une base de données relationnelle.
  • Gestion des délimiteurs.

Ingestion des données en temps réel : Spark Streaming

Analyse des données dans SPARK

  • Accéder au métastore à travers Spark pour la manipulation destables
  • Filtrer les données à l’aide de Spark
  • Calculer des aggrégas
  • Les jointures
  • Produire des données triées, groupées, etc…
  • Exercices pratiques

Spark Avancé

  • Spark 1 vs Spark 2
  • Structurer les données à la volée
  • Intéractions avec Apache Kafka

Exercices pratiques

 

Questions droit de travail


YOU ARE HERE: Home Commissions AIMAF Formation/Communication

Documentation

Notre Bibliothèque riche de documents et présentations dans divers domaines ...cliquer ici