Enerji Dağıtımında CDC ve Kafka ile Gerçek Zamanlı Veri Entegrasyonu
Bir elektrik dağıtım şirketi; arıza, sayaç ve müşteri sistemlerindeki verinin raporlara ancak ertesi gün ulaşmasından kaynaklanan gecikmeleri ortadan kaldırmak istedi.
Problem
Kaynak sistemler farklı veritabanlarında çalışıyor, veriler gece toplu aktarımlarla taşınıyordu. Saha ekipleri ve çağrı merkezi aynı arızayı farklı ekranlarda farklı durumlarla görüyordu.
Yaklaşım
Kaynak veritabanlarına yük bindirmeyen değişiklik yakalama (CDC) kuruldu; değişiklikler Kafka üzerinden olay akışı olarak dağıtıldı. ELT hatlarında şema kontrolleri, veri kalitesi kuralları ve veri soyu (lineage) takibi devreye alındı. Arıza, sayaç ve müşteri verisi ortak bir modelde birleştirilerek operasyon panellerine ve tahmin modellerine aynı anda servis edildi.
Etki
Gerçek zamanlı,arıza ve sayaç verisi beklemeden ekranlarda,Tek doğruluk kaynağı,saha, çağrı merkezi ve yönetim aynı veriyi görüyor
Öne çıkanlar
- Kaynak sistemlere ek sorgu yükü bindirilmiyor
- Hatalı kayıtlar akışa girmeden yakalanıyor
- Yeni tüketiciler mevcut akışa abone olarak ekleniyor
Sık sorulan sorular
CDC (Change Data Capture) nedir?
CDC, kaynak veritabanındaki ekleme, güncelleme ve silme işlemlerini işlem günlüğünden okuyarak hedef sistemlere anında aktaran yöntemdir. Kaynak sisteme toplu sorgulardan çok daha az yük bindirir.
ETL ile ELT arasındaki fark nedir?
ETL’de veri hedefe yüklenmeden önce dönüştürülür; ELT’de ham veri önce hedef platforma yüklenir, dönüşüm orada yapılır. Modern veri platformlarında ELT esneklik ve ölçeklenebilirlik sağlar.
Kafka hangi durumlarda tercih edilmeli?
Aynı verinin birden çok sisteme düşük gecikmeyle ve sırasıyla ulaşması gerektiğinde, olay tabanlı mimarilerde ve yüksek hacimli akışlarda Kafka güçlü bir omurga sunar.
Sizinkine benzer bir problem mi var?
İlk görüşmede durumunuzu dinliyor, uygulanabilir bir yol haritası öneriyoruz.