Spark for Developers

Eğitim Tipi : Sanal Sınıf / Online
Süre : 3 Gün
  1. Anasayfa
  2. Spark for Developers

Açıklama

    Apache Spark dağıtık bilgi işlem motoru, büyük ölçekli veri kümelerinin işlenmesi ve analizi konusunda hızlı bir şekilde birincil araç haline geliyor. Hadoop gibi mevcut motorlara göre 10 ila 100 kat daha hızlı çalışma süresi hızları ve daha basit programlama modeli dahil olmak üzere birçok avantaja sahiptir. Bu eğitimi tamamladıktan sonra, Spark ile daha bilinçli ve üretken bir şekilde çalışmaya hazır olacaksınız.

    Bu Eğitimde Neler Öğreneceksiniz ?

    • Katılımcılar, Spark’ın Büyük Veri ekosistemine nasıl uyum sağladığını ve veri analizi için Spark’ın nasıl kullanılacağını öğrenirler. Eğitim, Spark’la etkileşimli veri analizi, Spark iç işlevleri, Spark API’leri, Spark SQL, Spark Streaming,  makine öğrenimi gibi konu başlıklarını içerir.

Eğitim İçeriği

Spark Basics

  • Spark and Hadoop
  • Spark Concepts and Architecture
  • Spark eco System (core, spark sql, ml, streaming
  • Spark SQL
  • RDD

Spark API programming

  • Introduction to Spark API / RDD API
  • Submitting the First Program to Spark
  • Debugging / Logging
  • Configuration Properties

Machine Learning Fundamentals

  • ML and DL fundamentals
  • Regression
  • Classification
  • Clustering

Machine Learning on bigdata with SparkML

  • Feature operations
  • Preparing data for ML
  • Onehotencoding, scaling..
  • Training Models
  • classification, regression
  • Hyper parameter tuning
  • Cross validation, Train Validation Split
  • Basic Sentiment analysis on text data

Introduction to Structured Streaming

  • Apache Spark Streaming Overview
  • Creating Streaming DataFrames
  • Transforming DataFrames
  • Executing Streaming Queries

Structured Streaming with Apache Kafka

  • Receiving Kafka Messages
  • Sending Kafka Messages

Aggregating and Joining Streaming DataFrames

  • Streaming Aggregation
  • Joining Streaming DataFrames

Spark Distributed Processing

  • Apache Spark on a Cluster
  • RDD Partitions
  • Stages and Tasks
  • Job Execution Planning

Ön Koşullar

Temel programlama bilgisine sahip olmak