Otomotiv Yan Sanayisinde Cloudera’dan Lakehouse Mimarisine Modernizasyon
İhracat odaklı bir otomotiv yan sanayi üreticisi, yıllar içinde büyüyen Hadoop kümesi destek ve donanım ömrünün sonuna yaklaşırken veri platformunu yapay zekâ projelerine hazır hale getirmek istedi.
Problem
Sensör, kalite ve ERP verileri ayrı sistemlerde duruyordu. Gece çalışan toplu işler sabah raporlarını geciktiriyor, veri bilimi ekibi modelleri eğitmek için veriyi elle bir araya getiriyordu.
Yaklaşım
Mevcut tablolar ve işler envanterlenerek önceliklendirildi. Açık tablo formatı ve nesne depolama üzerine kurulan Lakehouse’a veriler aşamalı olarak taşındı; eski ve yeni platform geçiş süresince paralel çalıştı. Akış işleme ile hat verisi neredeyse gerçek zamanlı aktarılır hale geldi; veri kataloğu ve kalite kontrolleri ilk günden kuruldu.
Etki
Aşamalı geçiş,eski ve yeni platform paralel çalıştı,Yapay zekâya hazır,kalite ve sensör verisi tek katmanda
Öne çıkanlar
- Raporlar gece işlerini beklemeden güncelleniyor
- Veri kataloğuyla her tablonun sahibi ve kaynağı belli
- Kalite kontrol modelleri doğrudan Lakehouse verisiyle eğitiliyor
Sık sorulan sorular
Cloudera/Hadoop’tan Lakehouse’a geçiş nasıl yapılır?
Önce tablolar, işler ve bağımlılıklar envanterlenir. Ardından veriler öncelik sırasıyla açık formatlı tablolara taşınır ve geçiş süresince iki platform paralel çalıştırılarak sonuçlar karşılaştırılır.
Lakehouse ile veri gölü arasındaki fark nedir?
Lakehouse, veri gölünün esnek ve ekonomik depolamasını veri ambarının işlem tutarlılığı, şema yönetimi ve performansıyla birleştirir. Aynı veri hem raporlamada hem makine öğrenmesinde kullanılabilir.
Modernizasyon sırasında raporlar etkilenir mi?
Paralel çalışma döneminde mevcut raporlar eski platformdan beslenmeye devam eder. Her rapor, yeni platformdaki sonuçları doğrulandıktan sonra taşınır.
Sizinkine benzer bir problem mi var?
İlk görüşmede durumunuzu dinliyor, uygulanabilir bir yol haritası öneriyoruz.