Kurumsal KSQL ve Kafka Connect Eğitimi Hakkında
Gerçek zamanlı veri entegrasyonu geliştiren ekipler için 3 günlük program
KSQL ve Kafka Connect ile Entegrasyon ve Pipeline Tasarım Eğitimi, Kafka üzerindeki verilerin işlenmesini ve farklı sistemler arasında taşınmasını uygulamalı olarak ele alır. Katılımcılar KSQL (ksqlDB) ile veri akışlarını filtreleme, dönüştürme ve zenginleştirme; Kafka Connect ile kaynak ve hedef sistemler arasında veri hatları kurma çalışmalarını inceler.
Programda stream–table join, zaman pencereli toplama, materialized view ve pull/push sorgular ele alınır. Entegrasyon bölümünde ise JDBC connector’ları, Debezium ile değişiklik verisi yakalama (CDC), hedef connector’lar, şema yönetimi, hata işleme ve izleme konularına odaklanılır. Amaç, ekiplerin gerçek zamanlı veri hatlarını kurumun işletim ve bakım ihtiyaçlarını dikkate alarak tasarlamasıdır.
Kafka mimarisini, producer/consumer yapısını ve partition mantığını önce temel düzeyde çalışmak isteyen ekipler Apache Kafka Fundamentals Eğitimi içeriğini inceleyebilir.
Eğitim sonunda katılımcılar:
- KSQL ile stream ve table yapılarını kullanarak filtreleme, join ve toplama sorguları oluşturabilir.
- Materialized view sonuçlarını pull ve push sorgularla uygun kullanım senaryolarına bağlayabilir.
- JDBC ve Debezium gibi kaynaklarla Kafka’ya veri taşıma akışını tasarlayabilir.
- İlişkisel veritabanı, Elasticsearch veya S3 gibi hedeflere veri aktarma seçeneklerini değerlendirebilir.
- Şema yönetimi, Single Message Transform (SMT), dead letter queue (DLQ) ve yeniden deneme ayarlarını inceleyebilir.
- Connector görevlerini, hataları ve veri hattının durumunu izlemeye yönelik yaklaşım geliştirebilir.
KSQL ve Kafka Connect Eğitimi İçeriği
1. KSQL Temelleri
- STREAM ve TABLE yapılarının kullanım alanları
- Key ve partition mantığı
- Filtreleme, alan seçimi ve PARTITION BY
- Stream–table join işlemleri
- Tumbling, hopping ve session window türleri
- Event-time yaklaşımı
- Toplama işlemleriyle materialized view oluşturma
- Pull ve push sorguların farkı ve REST üzerinden sorgulama
2. KSQL İleri Konular ve Tasarım Kalıpları
- Join ve toplama öncesinde yeniden bölümleme (repartition) stratejileri
- KSQL bağlamında state ve retention ayarları
- Avro, JSON ve Protobuf ile şema yönetimi
- Schema Registry kullanımına giriş
- Veri zenginleştirme, tekrar eden kayıtları ele alma ve canlı metrik oluşturma kalıpları
- Uygulama: Bir iş alanına uyarlanmış canlı tablo oluşturma
- Uygulama: Oluşturulan tablo üzerinde pull ve push sorgular çalıştırma
Partition seçimi, topic yapısı ve şema değişikliklerini kurum genelinde standartlaştırmak isteyen ekipler için Apache Kafka: Topic & Şema Tasarımı Eğitimi bu bölümün ilgili devamıdır.
3. Kafka Connect ile Entegrasyon
- Kafka Connect mimarisi: Worker, task ve offset kavramları
- JDBC kaynak connector’ı ve Debezium ile CDC senaryolarının karşılaştırılması
- JDBC, Elasticsearch ve S3 hedef connector’ları için temel yapılandırma örnekleri
- Single Message Transform (SMT) kullanımı
- Hata yönetimi: DLQ, yeniden deneme ve bekleme süresi ayarları
- Connect REST arayüzü ve AKHQ ile izleme ve yönetim
- Uçtan uca uygulama: Kaynak sistem → Kafka → KSQL → hedef sistem veri akışı
Veri hattının bağlı olduğu Kafka kümesinin kurulumu, güvenliği, izlenmesi ve işletimi hakkında daha ayrıntılı eğitim arayan platform ekipleri Apache Kafka Admin Eğitimi içeriğini inceleyebilir.
Kurumsal KSQL ve Kafka Connect Eğitimine Kimler Katılmalı?
Eğitim; backend geliştiriciler, veri mühendisleri, veri akışı ve entegrasyon ekipleri ile CDC, ETL veya ELT süreçlerinde çalışan teknik profesyoneller için uygundur. Kafka kullanan ve KSQL ile Kafka Connect uygulamalarını ekip içinde ortak bir yaklaşımla yönetmek isteyen kurumlar da programdan yararlanabilir.
Eğitim Katılım Ön Koşulları
Katılımcıların Java programlama konusunda giriş düzeyinde bilgi sahibi olması gerekir.
Eğitim Süresi ve Formatı
KSQL ve Kafka Connect ile Entegrasyon ve Pipeline Tasarım Eğitimi 3 gün sürer ve online sanal sınıf formatında sunulur. Kurumunuzun veri platformu ve eğitim planlaması hakkında bilgi almak için BlueMark Academy ile iletişime geçebilirsiniz.
Kurumsal KSQL ve Kafka Connect Eğitimi Hakkında Sık Sorulan Sorular
KSQL ve Kafka Connect Eğitimi kaç gün sürüyor?
Eğitim 3 gün sürer ve online sanal sınıf formatında sunulur.
Eğitime katılmak için hangi bilgi düzeyi gerekir?
Eğitim sayfasında Java programlama konusunda giriş düzeyinde bilgi sahibi olunması ön koşul olarak belirtilir.
KSQL ve Kafka Connect arasındaki fark nedir?
KSQL (ksqlDB), Kafka üzerindeki veri akışlarını sorgulama ve dönüştürme için kullanılır. Kafka Connect ise Kafka ile kaynak ve hedef sistemler arasında veri taşımaya yönelik connector altyapısı sağlar. Eğitim iki bileşeni aynı veri hattında ele alır.
Eğitimde Debezium ile CDC işleniyor mu?
Evet. JDBC kaynak connector’ı ile Debezium kullanılarak yapılan değişiklik verisi yakalama senaryoları karşılaştırılır.
KSQL eğitiminde pull ve push sorgular var mı?
Evet. Programda materialized view oluşturma, pull ve push sorguların kullanım farkları ve REST üzerinden sorgulama ele alınır.
Kafka Connect eğitiminde hangi hedef sistemler ele alınıyor?
JDBC ile ilişkisel veritabanları, Elasticsearch ve S3 hedef connector’ları için temel yapılandırma senaryoları programda yer alır.
Üretim ortamında hata yönetimi ve izleme konuları işleniyor mu?
Evet. Eğitim; DLQ, yeniden deneme ayarları, Connect REST arayüzü ve AKHQ ile izleme ve yönetim konularını kapsar.
Kurumumuz için KSQL ve Kafka Connect eğitimi hakkında nasıl bilgi alabiliriz?
Kurumsal eğitim kapsamı, katılım ve planlama hakkında bilgi almak için BlueMark Academy ile iletişime geçebilirsiniz.