KSQL ve Kafka Connect ile Entegrasyon ve Pipeline Tasarım Eğitimi

Eğitim Tipi : Sanal Sınıf / Online
Süre : 3 Gün
  1. Anasayfa
  2. KSQL ve Kafka Connect ile Entegrasyon ve Pipeline Tasarım Eğitimi

Açıklama

    Bu eğitimin amacı; KSQL ile Kafka’daki veriyi SQL benzeri ifadelerle filtrelemek, dönüştürmek ve zenginleştirmek; time-window toplamak; stream–table join’leri kurarak materialized view’lar üretmek ve bu görünümleri pull/push sorgularla gerçek zamanlı olarak uygulamalara sunmak; ayrıca Kafka Connect ile ilişkisel veritabanları, dosya/S3 ve arama motorları gibi kaynak ve hedefleri hazır connector’larla entegre etmek, CDC (Debezium) ile değişiklikleri güvenilir biçimde Kafka’ya taşımak ve sink connector’larla veri hatlarını üretime taşırken izleme ve hata yönetimi (DLQ, retry) uygulamaktır. Sonuç olarak, az kodla yönetilebilir, izlenebilir ve üretim standartlarına uygun gerçek zamanlı veri hatları kurabilmenizi sağlamaktır.

    Eğitim Sonu Kazanımları

    • KSQL ile STREAM–TABLE modelinde join, window ve agregasyon kurarak materialized view’lar üretip pull/push sorgularla gerçek zamanlı tüketim sağlayabileceksiniz.
    • Kafka Connect üzerinde JDBC/Debezium kaynaklarını ve JDBC/Elasticsearch/S3 hedeflerini yapılandırıp uçtan uca güvenilir veri hatları tasarlayabileceksiniz.
    • Şema yönetimi (Avro/JSON/Protobuf + Schema Registry), SMT dönüşümleri, DLQ–retry ve temel izleme araçlarıyla üretim ortamında sürdürülebilir entegrasyonlar işletebileceksiniz.

    Kimler Katılmalı

    • Backend geliştiriciler
    • Veri mühendisleri
    • Streaming ve entegrasyon ekipleri (CDC, ETL/ELT yapanlar)
    • Kafka kullanan ve KSQL/Connect’i üretimde standartlaştırmak isteyen ekipler

Eğitim İçeriği

KSQL Temelleri

  • STREAM vs TABLE, key/partition mantığı
  • Filtreleme, projeksiyon, PARTITION BY
  • Stream–table join’leri
  • Window türleri (tumbling/hopping/session) ve event-time
  • Agregasyon → materialized views
  • Pull vs Push sorgular (REST üzerinden sorgulama)

KSQL İleri Konular ve Tasarım Kalıpları

  • Repartition stratejileri (join/aggregate öncesi)
  • State ve retention ayarları (KSQL bağlamında)
  • Şema yönetimi: Avro/JSON/Protobuf + Schema Registry
  • Pattern’ler: enrichment, deduplication, canlı metrikler
  • Kısa uygulama: domain’e uyarlanmış canlı tablo + pull/push sorgular

Kafka Connect ile Entegrasyon

  • Connect mimarisi (worker/task/offset) – kısa giriş
  • Source: JDBC vs Debezium (CDC) senaryoları
  • Sink: JDBC/Elasticsearch/S3 temel şablonları
  • SMT (Single Message Transform) örüntüleri
  • Hata yönetimi: DLQ, retry/backoff (Connect özelinde)
  • İzleme ve yönetim: Connect REST, AKHQ
  • Kısa uçtan uca demo: Source → Kafka → KSQL → Sink

Ön Koşullar

Java programlama konusunda giriş düzeyi bilgi sahibi olunması gereklidir