Spark for Developers

Eğitim Tipi : Sanal Sınıf / Online
Süre : 3 Gün
  1. Anasayfa
  2. Spark for Developers

Açıklama

    Bu eğitim, Apache Spark’a giriş yapacak geliştiriciler ve veri analistlerine yöneliktir.

     

    Bu Eğitimde Neler Öğreneceksiniz ?

    • Katılımcılar, Spark’ın Büyük Veri ekosistemine nasıl uyum sağladığını ve veri analizi için Spark’ın nasıl kullanılacağını öğrenirler. Eğitim, Spark’la etkileşimli veri analizi, Spark iç işlevleri, Spark API’leri, Spark SQL, Spark Streaming, makine öğrenimi ve GraphX gibi konu başlıklarını içerir.

Eğitim İçeriği

Scala primer

  • A Quick Introduction to Scala

Spark Basics

  • Background and History
  • Spark and Hadoop
  • Spark Concepts and Architecture
  • Spark eco System (core, spark sql, mlib, streaming)

RDDs

  • Running Spark in Local Mode
  • Spark Web UI
  • Spark Shell
  • Analyzing Dataset – part 1
  • Inspecting RDDs

RDDs In Depth

  • Partitions
  • RDD Operations / Transformations
  • RDD Types
  • Key-Value Pair RDDs
  • MapReduce on RDD
  • Caching and Persistence

Spark and Hadoop

  • Hadoop Intro (HDFS / YARN)
  • Hadoop + Spark Architecture
  • Running Spark on Hadoop YARN
  • Processing HDFS Files Using Spark

Spark API programming

  • Introduction to Spark API / RDD API
  • Submitting the First Program to Spark
  • Debugging / Logging
  • Configuration Properties

Spark SQL

  • SQL Context
  • Defining Tables and Importing Datasets
  • Querying

Spark Streaming

  • Streaming Overview
  • Streaming Operations
  • Sliding Window Operations
  • Writing Spark Streaming Applications

Spark Mlib

  • mlib Intro
  • mlib Algorithms
  • Writing mlib Applications

Spark GraphX

  • GraphX Library Overview
  • GraphX APIs
  • Processing Graph Data Using Spark

Spark Performance and Tuning

  • Broadcast Variables
  • Accumulators
  • Memory Management

Ön Koşullar

java ve python temel programlama bilgisine sahip olmak