Modeliniz testte çok başarılı görünürken gerçek kullanımda beklenen sonucu vermiyor mu? Olası nedenlerden biri veri sızıntısı, yani data leakage olabilir. Modelin tahmin anında erişemeyeceği bir bilgi eğitim veya değerlendirme sürecine karıştığında performans olduğundan iyi görünebilir.
Buradaki veri sızıntısı kavramı, şirket bilgilerinin dışarı çıkarılmasından farklıdır. Konu, modelin sınanması gereken bilgiyi dolaylı veya doğrudan önceden görmesidir. Bu yazıda bir müşteri kaybı tahmini senaryosu üzerinden hedefe ilişkin bilgi sızıntısını, ön işleme hatalarını ve doğru veri ayırma yaklaşımını ele alacağız.
Tahmin anında bilinmeyen bilgiyi kullanmayın
Bir abonelik şirketinin ay başında hangi müşterilerin ay sonunda ayrılacağını tahmin etmek istediğini düşünün. Ay başına kadar oluşmuş kullanım verileri uygun aday özellikler olabilir. Ancak ay sonunda girilen iptal tarihi veya kapanış nedeni aynı tahmin için kullanılırsa sonuç bilgisini modele vermiş olursunuz.
Özellikleri seçerken her sütun için şu soruyu sorun: Bu değer, tahminin üretileceği anda gerçekten mevcut mu? Veritabanında bugün bulunması yeterli değildir. Kaydın hangi anda oluştuğunu, ne zaman güncellendiğini ve geçmişe dönük yeniden hesaplanıp hesaplanmadığını da incelemek gerekir.
Veriyi ayırmadan ön işleme yapmak neden sorun yaratır?
Ölçekleme, eksik değer doldurma veya özellik seçimi gibi adımlarda bütün veri üzerinden öğrenilen bilgiler test kümesinin eğitim sürecini etkilemesine yol açabilir. Genel ilke, öğrenilen dönüşümleri yalnızca eğitim verisine uydurmak ve aynı dönüşümü test verisine uygulamaktır. scikit-learn dokümantasyonu bu ayrım için Pipeline kullanımını önerir.
Aşağıdaki kısa akışta ölçekleyici bütün X verisine uydurulur. Sonradan train_test_split kullanılması, test bilgisinin ölçekleyiciye önceden karışmış olmasını geri almaz.
# Kaçınılması gereken işlem sırası
X_scaled = StandardScaler().fit_transform(X)
X_train, X_test, y_train, y_test = train_test_split(
X_scaled, y, test_size=0.2, random_state=42
)
Python ile sızıntıyı önleyen bir başlangıç örneği
Aşağıdaki örnek yapay bir sınıflandırma veri kümesi üretir. Gerçek müşteri verisi veya gerçek bir başarı iddiası içermez. Amaç, önce veri ayırmayı ve dönüşümü modelle aynı Pipeline içine yerleştirmeyi göstermektir. Kendi verinizde ayırma stratejisini iş senaryonuza göre seçmelisiniz.
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.metrics import balanced_accuracy_score
X, y = make_classification(
n_samples=500, n_features=8, n_informative=4,
random_state=42)
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2,
stratify=y, random_state=42)
model = Pipeline([
('scale', StandardScaler()),
('classifier', LogisticRegression(max_iter=1000))])
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
print(balanced_accuracy_score(y_test, y_pred))
Bu akışta model.fit çağrısı ölçekleyiciyi eğitim kümesinde öğrenir. Tahmin aşamasında test verisi aynı öğrenilmiş dönüşümden geçer. Bununla birlikte Pipeline, yanlış seçilmiş özellikleri veya hatalı veri bölünmesini otomatik düzeltmez. İptal tarihi gibi hedefi açığa çıkaran bir sütun varsa onu ayrıca elemeniz gerekir.
Zaman ve müşteri kimliği ayrımı değiştirir
Geleceği tahmin eden bir modelde rastgele bölme her zaman uygun değildir. Gelecekte oluşmuş kayıtların eğitim tarafına karışması, gerçek kullanım koşullarını bozabilir. Zaman sırasına uygun bir eğitim ve test ayrımı kurun. Birden fazla dönemle değerlendirme için TimeSeriesSplit gibi araçlar incelenebilir. Değerlendirme pencerelerini tahmin ufkuna ve etiketlerin oluşma gecikmesine göre tasarlayın.
Aynı müşterinin birden fazla kaydı bulunuyorsa ve hedef yeni müşterilere genelleme yapmaksa, müşterinin hem eğitim hem test tarafında bulunmasını önlemek gerekir. GroupKFold, grup kimliklerini ayrı tutan çapraz doğrulama için kullanılabilir. Hedef mevcut müşterilerin gelecek davranışıysa zaman ayrımı da önem kazanır. Tek bir ayırma yöntemi bütün iş senaryolarını karşılamaz.
Veri hazırlama, model kurma ve değerlendirme adımlarını birlikte öğrenmek isteyen analistler Python ile Veri Bilimi ve Makine Öğrenimi Eğitimi içeriğini inceleyebilir. Eğitime hazırlanırken mevcut veri kümenizde tahmin anını ve hedef değişkenin nasıl üretildiğini tanımlamak, uygulama sorularınızı somutlaştırır.
Modeli değerlendirmeden önce kontrol listesi
- Her özelliğin tahmin anında erişilebilir olduğunu kontrol edin.
- Aynı veya neredeyse aynı kayıtların farklı veri kümelerine dağılmasını inceleyin.
- Ön işleme ve özellik seçimini çapraz doğrulama katlarının eğitim kısmında gerçekleştirin.
- Model ayarlarını tekrar tekrar son test kümesine bakarak seçmeyin. Model seçimi için ayrı doğrulama veya çapraz doğrulama kullanın.
- Başarı ölçütünü hataların iş maliyetine göre belirleyin. Tek başına yüksek doğruluk oranını yeterli kabul etmeyin.
Teknik kaynaklar
scikit-learn veri sızıntısı rehberi, TimeSeriesSplit ve GroupKFold dokümantasyonu.
