Menü

ETL Test Veri Ambarı Test Eğitimi (Tam Kılavuz)

etl testing data warehouse testing tutorial

Sorunları Ortadan Kaldırmak Için Enstrümanımızı Deneyin

ETL Testi / Veri Ambarı Süreci ve Zorlukları:

Bugün, test kardeşliğimi test eden arkadaşlarım için en çok talep gören ve gelecek becerilerden biri, yani ETL testi (Çıkar, Dönüştür ve Yükle) hakkında açıklamama izin verin.

Bu eğitim, size ETL testi ve ETL sürecini test etmek için ne yaptığımız hakkında eksiksiz bir fikir verecektir.

Bu serideki Öğreticilerin Tam Listesi:

Bağımsız Doğrulama ve Doğrulama'nın büyük bir pazar potansiyeli kazandığı ve artık birçok şirketin bunu ileriye dönük iş kazancı olarak gördüğü gözlemlenmiştir.

ETL Testi _ Veri Ambarı Testi - İpuçları, Teknikler, Süreçler ve Zorluklar

Müşterilere, teknoloji, süreç ve çözümlere dayalı olarak birçok alanda dağıtılan, hizmet teklifleri açısından farklı bir ürün yelpazesi sunuldu. ETL veya veri ambarı, hızlı ve başarılı bir şekilde gelişen tekliflerden biridir.

ETL süreci

ETL süreci ile veriler kaynak sistemlerden alınır, iş kurallarına göre dönüştürülür ve son olarak hedef sisteme (veri ambarı) yüklenir. Veri ambarı, işle ilgili karar verme sürecine yardımcı olan entegre verileri içeren, kurumsal çapta bir depodur. İş zekasının bir parçasıdır.

Ne öğreneceksin:

Kuruluşlar neden Veri Ambarı'na ihtiyaç duyar?

Organize BT uygulamalarına sahip kuruluşlar, bir sonraki teknoloji dönüşüm düzeyini yaratmayı dört gözle bekliyorlar. Artık birlikte çalışması kolay verilerle kendilerini çok daha operasyonel hale getirmeye çalışıyorlar.

Verilerin herhangi bir kuruluşun en önemli parçası olduğunu söyledikten sonra, bunlar günlük veriler veya geçmiş veriler olabilir. Veriler, herhangi bir raporun belkemiğidir ve raporlar, tüm önemli yönetim kararlarının alındığı temeldir.

Şirketlerin çoğu, gerçek zamanlı verileri ve geçmiş verileri depolamak ve izlemek için veri ambarlarını oluşturmak için bir adım öne çıkıyor. Verimli bir veri ambarı oluşturmak kolay bir iş değildir. Birçok kuruluş, dağıtılmış teknolojide çalışan farklı uygulamalara sahip departmanlara sahiptir.

ETL aracı, farklı departmanlardan farklı veri kaynakları arasında kusursuz bir entegrasyon sağlamak için kullanılmaktadır. ETL aracı, farklı kaynaklardan veri çıkaran bir entegratör olarak çalışacaktır; bunu iş dönüştürme kurallarına göre tercih edilen biçime dönüştürmek ve bunu Veri Ambarı olarak bilinen birleşik DB'ye yüklemek.

İyi planlanmış, iyi tanımlanmış ve etkili test kapsamı sorunsuz dönüşümü garanti eder Projenin üretime. Bir işletme, veri ambarının somut ve sağlam olduğundan emin olmak için ETL süreçleri bağımsız bir uzmanlar grubu tarafından doğrulandıktan ve onaylandıktan sonra gerçek canlılığı kazanır.

ETL veya Veri ambarı testi, dört farklı görev olarak kategorize edilir kullanılan teknoloji veya ETL araçlarından bağımsız olarak:

  • Yeni Veri Ambarı Testi - Yeni DW inşa edildi ve sıfırdan doğrulandı. Veri girişi müşteri gereksinimlerinden ve farklı veri kaynaklarından alınır ve yeni veri ambarı ETL araçları yardımıyla oluşturulur ve doğrulanır.
  • Göç Testi - Bu tür bir projede, müşteri işi yapan mevcut bir DW ve ETL'ye sahip olacak, ancak verimliliği artırmak için yeni bir aracı paketlemek istiyorlar.
  • Değişiklik İsteği - Bu tür bir projede, farklı kaynaklardan mevcut bir DW'ye yeni veriler eklenir. Ayrıca, müşterinin mevcut iş kurallarını değiştirmesi gereken bir koşul olabilir veya yeni kuralı entegre edebilirler.
  • Rapor Testi - Rapor, herhangi bir Veri Ambarının nihai sonucudur ve DW'nin oluşturduğu temel tekliftir. Rapor, düzen, rapordaki veriler ve hesaplama doğrulanarak test edilmelidir.

ETL süreci

( Not : Büyütülmüş görmek için resmin üzerine tıklayın)

ETL testi

ETL Test Teknikleri

1) Veri dönüştürme Testi : Verilerin çeşitli iş gereksinimleri ve kurallarına göre doğru şekilde dönüştürüldüğünü doğrulayın.

2) Kaynaktan Hedefe Sayım Testi : Hedefe yüklenen kayıt sayısının beklenen sayıyla eşleştiğinden emin olun.

3) Kaynaktan Hedefe Veri Testi : Öngörülen tüm verilerin veri ambarına herhangi bir veri kaybı ve kesinti olmadan yüklendiğinden emin olun.

4) Veri Kalitesi Testi : ETL uygulamasının uygun şekilde reddettiğinden, varsayılan değerlerle değiştirdiğinden ve geçersiz verileri bildirdiğinden emin olun.

5) Performans Testi : Geliştirilmiş performans ve ölçeklenebilirliği teyit etmek için verilerin önceden belirlenen ve beklenen zaman dilimleri içinde veri ambarına yüklendiğinden emin olun.

java'da bir nesne dizisi nasıl bildirilir

6) Üretim Doğrulama Testi: Üretim sistemindeki verileri doğrulayın ve kaynak verilerle karşılaştırın.

7) Veri Entegrasyon Testi : Çeşitli kaynaklardan gelen verilerin hedef sisteme düzgün bir şekilde yüklendiğinden ve tüm eşik değerlerinin kontrol edildiğinden emin olun.

8) Uygulama Taşıma Testi : Bu testte, ETL uygulamasının yeni bir kutuya veya platforma taşınmak için iyi çalıştığı sağlanır.

9) Veri ve kısıtlama Kontrolü : Veri türü, uzunluk, dizin, kısıtlamalar vb. Bu durumda test edilir.

10) Yinelenen Veri Kontrolü : Hedef sistemlerde herhangi bir yinelenen veri olup olmadığını test edin. Yinelenen veriler yanlış analitik raporlara yol açabilir.

Yukarıdaki ETL test yöntemlerinin yanı sıra, her şeyin sorunsuz ve güvenilir olduğundan emin olmak için sistem entegrasyon testi, kullanıcı kabul testi, artımlı test, regresyon testi, yeniden test ve gezinme testi gibi diğer test yöntemleri de gerçekleştirilir.

ETL / Veri deposu Test Süreci

Bağımsız Doğrulama ve Doğrulama kapsamındaki diğer testlere benzer şekilde, ETL de aynı aşamadan geçer.

  • Gereksinim anlayışı
  • Doğrulanıyor
  • Test Tahmini bir dizi tabloya, kuralların karmaşıklığına, veri hacmine ve bir işin performansına dayanır.
  • Test planlaması test tahmininden ve iş gereksiniminden gelen girdilere dayanır. Burada neyin kapsam içinde ve neyin kapsam dışı olduğunu belirlememiz gerekir. Ayrıca bu aşamada bağımlılıklar, riskler ve azaltma planlarına da bakıyoruz.
  • Test senaryoları tasarlama ve mevcut tüm girdilerden senaryoları test edin. Ayrıca haritalama belgesi ve SQL betikleri tasarlamamız gerekiyor.
  • Tüm test senaryoları hazır olduğunda ve onaylandıktan sonra, test ekibi yürütme öncesi kontrolü gerçekleştirmeye devam eder ve test verisi hazırlama test için
  • Son olarak, çıkış kriterleri karşılanana kadar yürütme gerçekleştirilir. Dolayısıyla, yürütme aşaması ETL işlerini çalıştırmayı, iş çalıştırmalarını izlemeyi, SQL komut dosyası yürütmeyi, hata günlüğünü, kusur yeniden testini ve regresyon testini içerir.
  • Başarılı bir şekilde tamamlandıktan sonra bir özet rapor hazırlanır ve kapanış işlemi yapılır. Bu aşamada, işi veya kodu bir sonraki aşamaya yükseltmek için onay verilir.

İlk iki aşama, yani gereksinimin anlaşılması ve doğrulanması, ETL test sürecinin ön adımları olarak kabul edilebilir.

Yani ana süreç aşağıdaki gibi gösterilebilir:

ana süreç

Fiili teste başlamadan önce paydaşlar tarafından karşılıklı olarak kabul edilmesi gereken test stratejisinin tanımlanması gerekir. İyi tanımlanmış bir test stratejisi, test amacını karşılayan doğru yaklaşımın izlenmesini sağlayacaktır.

ETL / Veri Ambarı testi, ekibin test edilmesi veya geliştirme ekibi tarafından sağlanan SQL'in uyarlanması yoluyla kapsamlı bir şekilde SQL ifadeleri yazmayı gerektirebilir. Her durumda, bir test ekibinin bu SQL ifadelerini kullanarak elde etmeye çalıştıkları sonuçlardan haberdar olması gerekir.

Veritabanı ve Veri Ambarı Testi arasındaki fark

Veritabanı testinin ve Veri deposu gerçek şu ki, her ikisi de testte farklı yönlere sahip.

  • Veri ambarı testi, OLAP (çevrimiçi analitik işleme) veritabanlarını içeren verilerle büyük hacimde yapılırken, normal olarak OLTP (Çevrimiçi işlem işleme) tipi veritabanlarında daha küçük bir veri ölçeği kullanılarak yapılır.
  • Veritabanı testinde normalde veriler tutarlı bir şekilde tek tip kaynaklardan enjekte edilirken, veri ambarı testinde verilerin çoğu sıralı olarak tutarsız olan farklı veri kaynaklarından gelir.
  • Veri ambarı testinde salt okunur (Seç) işlemi kullanırken genellikle veritabanı testinde tek CRUD (Oluştur, oku, güncelle ve sil) işlemini gerçekleştiririz.
  • Normalleştirilmiş veritabanları, DB testinde kullanılırken, morali bozulmuş DB, veri ambarı testinde kullanılır.

Her tür veri ambarı testi için yapılması gereken çok sayıda evrensel doğrulama vardır.

Bu testte doğrulama için gerekli olarak kabul edilen nesnelerin listesi aşağıdadır:

  • Kaynaktan hedefe veri dönüşümünün beklendiği gibi çalıştığını doğrulayın
  • Hedef sisteme beklenen verilerin eklendiğini doğrulayın
  • Tüm DB alanlarının ve alan verilerinin herhangi bir kesinti olmadan yüklendiğini doğrulayın
  • Kayıt sayısı eşleşmesi için veri sağlama toplamını doğrulayın
  • Reddedilen veriler için tüm ayrıntılarla uygun hata günlüklerinin oluşturulduğunu doğrulayın
  • NULL değer alanlarını doğrulayın
  • Yinelenen verilerin yüklenmediğini doğrulayın
  • Veri bütünlüğünü doğrulayın

=> Bilin ETL / Veri ambarı testi ve Veritabanı Testi arasındaki fark .

ETL Test Zorlukları

Bu test, geleneksel testlerden oldukça farklıdır. Veri ambarı testlerini gerçekleştirirken karşılaştığımız birçok zorluk var.

İşte projemde yaşadığım birkaç zorluk:

  • Uyumsuz ve yinelenen veriler
  • ETL süreci sırasında veri kaybı
  • Kapsayıcı test yatağının bulunmaması
  • Test uzmanlarının ETL işlerini kendi başlarına yürütme ayrıcalıkları yoktur
  • Verilerin hacmi ve karmaşıklığı çok büyük
  • İş süreci ve prosedürlerinde hata
  • Test verilerini alma ve oluşturma sorunları
  • Kararsız test ortamı
  • Eksik iş akışı bilgileri

Veriler, işletmelerin kritik iş kararları vermesi için önemlidir. ETL testi, iş bilgilerinin kesin, tutarlı ve güvenilir olduğunu doğrulamak ve sağlamak için önemli bir rol oynar. Ayrıca, üretimde veri kaybı riskini en aza indirir.

Bu ipuçlarının, ETL sürecinizin doğru olmasını ve bununla oluşturulan veri ambarının işletmeniz için rekabet avantajı sağlamasına yardımcı olacağını umuyoruz.

ETL Test Eğitimlerinin Tam Listesi:

Bu, bir çokuluslu şirkette test yönetimi rolünde çalışan Vishal Chhaperia'nın konuk gönderisidir. Çok teknolojili QA projelerini, Süreçlerini ve ekiplerini yönetmede geniş deneyime sahiptir.

ETL testi üzerinde çalıştınız mı? Lütfen ETL / DW test ipuçlarınızı ve zorluklarınızı aşağıda paylaşın.

Önerilen Kaynaklar

^