ETL ve DB Testi - ETL Test İhtiyacı, Planlama ve ETL Araçlarına Daha Yakından Bakış

etl vs db testing closer look etl testing need

Yazılım Testinin konsantre olması gereken çeşitli alanlar vardır. Başlıca çeşitler işlevsel ve işlevsel olmayan testlerdir. İşlevsel Test, geliştirilen işlevselliğin beklendiği gibi çalışmasını sağlamanın yordamsal yoludur. İşlevsel olmayan test, geliştirilmiş veya performans gibi işlevsel olmayan yönlerin kabul edilebilir bir düzeyde sağlanabileceği yaklaşımdır.

Başka bir test çeşidi daha var: DB testi . Veriler, veri tabanında tablolar şeklinde düzenlenir. İş için, nerede akışlar olabilir? birden çok tablodaki veriler birleştirilebilir veya tek bir tabloda işlenebilir veya bunun tersi de geçerlidir.

ETL Testi müşteriler tarafından bir tür raporlama ihtiyacının arandığı iş durumunda tercih edilen diğer bir test türüdür. Raporlama, talepleri, ihtiyaçları ve tedariki analiz etmek için aranır, böylece müşteriler, işletmeler ve son kullanıcılar çok iyi hizmet alır ve fayda sağlar.

Bu eğitimde ne öğreneceksiniz?

Bu eğiticide, Veritabanı Testinin ne olduğunu, ETL Testinin ne olduğunu, DB Testi ile ETL Testi arasındaki farkı ve gerçek örneklerle ETL testi ihtiyacı, süreci ve planlaması hakkında daha fazla ayrıntı öğreneceksiniz.

Ayrıca aşağıdaki sayfada ETL Testini daha ayrıntılı olarak ele aldık. Ayrıca, ona bir göz atın.

=> ETL Testi / Veri Ambarı Test İpuçları ve Teknikleri

Ne öğreneceksin:

• DB Testi ve ETL Testi Karşılaştırması
  • ETL ve DB Testinin Karşılaştırmalı Çalışması
  • İşletme Neden ETL'ye Gitmeli?
  • ETL Test Planlama
  • Kritik ETL İhtiyaçları
  • ETL Testinde Temel Sorunlar
  • ETL Test Planlama ve Yürütme Sırasında Dikkat Edilmesi Gereken Noktalar
  • ETL Araçları ve Önemli Kullanımları
  • Sonuç
  • Önerilen Kaynaklar

DB Testi ve ETL Testi Karşılaştırması

Çoğumuz, hem veritabanı testinin hem de ETL testinin benzer ve aynı olduğunu düşünmek konusunda biraz kafamız karıştı. Gerçek şu ki benzerler ama aynı değiller.

DB Testi:

DB Testi, genellikle uygulamada birden çok veri kaynağından tek bir tabloya birden çok veri akışının meydana geldiği iş akışlarında yaygın olarak kullanılır. Veri kaynağı bir tablo, düz dosya, uygulama veya bazı çıktı verilerini verebilecek başka herhangi bir şey olabilir.

Buna karşılık, elde edilen çıktı verileri, sıralı iş akışı için girdi olarak kullanılabilir. Bu nedenle, DB testi gerçekleştirdiğimizde, yakalanması gereken en önemli şey, verilerin kaynaktan dönüştürülme şekli ve hedef konuma nasıl kaydedileceğidir.

Senkronizasyon, DB Testini gerçekleştirirken dikkate alınması gereken önemli ve önemli bir şeydir. Uygulamanın mimari akışta konumlandırılması nedeniyle, veri veya DB senkronizasyonuyla ilgili birkaç sorun olabilir. Bu nedenle, testi gerçekleştirirken, bu potansiyelin üstesinden gelebileceğinden bununla ilgilenilmelidir. geçersiz kusurlar veya böcekler.

Örnek 1:

“A” Projesi, belirli uygulamanın birkaç başka heterojen veri kaynağından gelen verileri kullandığı entegre bir mimariye sahiptir. Bu nedenle, bu verilerin varış yeri ile bütünlüğü, aşağıdakiler için doğrulamalar ile birlikte yapılmalıdır:

• Birincil yabancı anahtar doğrulaması
• Sütun değerleri bütünlüğü
• Herhangi bir sütun için boş değerler

ETL Testi nedir?

ETL Testi, müşterinin işletmesinin tahmini ve analizi için yaptırmak istediği özel bir test türüdür. Bu, çoğunlukla raporlama amacıyla kullanılır. Örneğin, müşterilerin satın aldıkları güne göre ürünlerini kullanan veya ürünlerine giden müşteriler hakkında rapor vermesi gerekiyorsa, ETL raporlarından yararlanmaları gerekir.

İleti analiz ve raporlama , bu veriler veri ambarı eski geçmiş iş verilerinin taşınması gereken bir veri ambarına.

c ++ için tutulmayı kurma

Bu, kaynaktan gelen veriler nihai hedef konuma ulaşmadan önce birden çok ortama dönüştürüldüğü için çok seviyeli bir testtir.

Örnek 2:

Müşterinin günlük hayatta kalması için gerekli ev eşyalarını satın alabileceği bir alışveriş pazarı yoluyla perakende müşteri işi yapan bir 'A' grubunu ele alacağız. Burada, ziyaret eden tüm müşterilere, alışveriş pazarından bir şeyler satın almaya her geldiklerinde puan kazanabilecekleri benzersiz bir üyelik kimliği verilir.

Grup tarafından sağlanan düzenlemeler, kazanılan puanların her yıl geçerliliğini yitirdiğini söylüyor. Üyelik, kullanımlarına bağlı olarak ya daha yüksek dereceli bir üyeye yükseltilebilir ya da mevcut sınıfa kıyasla daha düşük bir dereceli üyeye düşürülebilir.

5 yıllık alışveriş piyasası kuruluşunun ardından artık yönetim, gelirle birlikte işlerini de büyütmenin yollarını arıyor.

Bu nedenle, müşterilerini tanıtabilmek için birkaç iş raporuna ihtiyaç duydular.

Veritabanı Testinde aşağıdakileri gerçekleştiriyoruz:

# 1) Mantıksal eşleştirme sayfasında ve veri yönlendirme belgesinde açıklanan mantıksal hesaplamalarla sütunlarla oluşturulan hedef tablolar üzerindeki doğrulamalar.

#iki) Müşteri verilerinin Eklenmesi, Güncellenmesi ve Silinmesi gibi işlemler, arka uç veritabanı ile birlikte entegre bir sistemdeki herhangi bir son kullanıcı POS uygulamasında gerçekleştirilebilir, böylece aynı değişiklikler son sisteme yansıtılır.

mac'da.dat dosyası nasıl açılır

# 3) DB testi, yanlış yorumlanan ve hatta kesilmiş müşteri verilerinin olmadığından emin olmalıdır. Bu, müşteri verilerinin bağlılıklarıyla yanlış eşlenmesi gibi ciddi sorunlara yol açabilir.

ETL Testinde aşağıdakileri kontrol ederiz:

# 1) Kaynakta 100 müşteri olduğunu varsayarsak, tüm bu müşterilerin 100 satırdaki verileriyle birlikte kaynak sistemden hedefe taşınmış olup olmadığını kontrol edeceksiniz. Bu, doğrulama olarak bilinir Veri tamlığı kontrolü.

#iki) Müşteri verilerinin doğru şekilde değiştirilip değiştirilmediğini ve 100 satırda gösterilip gösterilmediğini kontrol etmek. Buna basitçe doğrulama denir Veri Doğruluğu kontrolü .

# 3) Belirli bir dönemde x değerinden fazla puan alan müşteriler için raporlar.

ETL ve DB Testinin Karşılaştırmalı Çalışması

ETL ve DB testi, kendi içinde farklılık gösteren ve gerçekleştirmeden önce anlaşılması daha gerekli olan yönlerden birkaçına sahiptir. Bu, testin değerlerini ve önemini ve işletmeye yardımcı olma şeklini anlamamıza yardımcı olur.

Aşağıda, her iki test formatının da temel davranışını açıklayan bir tablo formu verilmiştir.

İşletme Neden ETL'ye Gitmeli?

ETL testini düşünmeleri için pek çok iş gereksinimi mevcuttur. Her işletmenin kendine özgü misyonu ve iş kolu olmalıdır. Tüm işletmeler, genel biçimi alan ürün yaşam döngüsüne sahiptir:

Herhangi bir yeni ürünün satışlarda muazzam bir büyüme ile ve vade denilen bir aşamaya kadar pazara girdiği ve ardından satışlarda düştüğü çok açık. Bu kademeli değişim, iş büyümesinde kesin bir düşüşe tanık oluyor. Bu nedenle, işletmenin büyümesi için müşteri ihtiyaçlarını ve organizasyonu daha karlı hale getirmek için gereken diğer faktörleri analiz etmek daha önemlidir.

Yani gerçekte, müşteriler geçmiş verileri analiz etmek ve stratejik olarak bazı raporlar oluşturmak istiyor.

ETL Test Planlama

ETL testindeki ana adımlardan biri, yürütülecek testi planlamaktır. Şuna benzer olacak Sistem Testi için Test Planı bu genellikle gereksinimler ve test senaryoları gibi birkaç özellik dışında gerçekleştirilir.

Burada gereksinimler bir eşleme sayfası farklı veritabanları içindeki veriler arasında bir tür eşleme olacaktır. ETL testinin birden çok düzeyde gerçekleştiğinin farkında olduğumuzdan, bunu doğrulamak için gereken çeşitli eşlemeler vardır.

Veriler kaynak veritabanlarından çoğu zaman doğrudan alınmaz. Tüm kaynak veriler, verilerin kullanılabileceği tabloların görünümüne sahip olacaktır.

Misal: Aşağıda, eşlemelerin nasıl sağlanabileceğine dair bir örnek verilmiştir. VIEW_NAME ve TABLE_NAME adlı iki sütun, sırasıyla ETL ortamındaki kaynaktan ve tablodan veri okumak için görünümleri temsil etmek için kullanılabilir.

Otomasyon için planlama yaparken bize yardımcı olabilecek adlandırma kuralını sürdürmeniz önerilir. Kullanılabilen genel gösterim, yalnızca ortamın adının önüne eklenir.

ETL'deki en önemli şey, temel verileri ve tabloları kaynaktan belirlemekle ilgilidir. Bir sonraki temel adım, tabloların kaynaktan ETL ortamına eşleştirilmesidir.

Aşağıda, çeşitli ortamlardan tablolar arasındaki eşlemenin ETL amacı ile nasıl ilişkilendirilebileceğine dair bir örnek verilmiştir.

Yukarıdaki eşleme, verileri kaynak tablodan aşamalı tabloya varsayar. Ve o andan itibaren EDW'deki tablolara ve ardından OLAP nihai raporlama ortamı olan. Bu nedenle, herhangi bir zamanda, veri senkronizasyonu ETL’nin iyiliği için çok önemlidir.

Kritik ETL İhtiyaçları

Anladığımız kadarıyla ETL, müşteri ihtiyaçlarını daha başarılı bir şekilde yakalamak için işi tahmin etme, raporlama ve analiz etme ihtiyacıdır. Bu, işletmenin geçmişe göre daha yüksek taleplere sahip olmasını sağlayacaktır.

ETL testinin gerçekleştirilemeyeceği kritik ihtiyaçlardan birkaçı şunlardır:

1. Veri ve tablo tanımlama : Bu önemlidir, çünkü müşteri ihtiyaçlarını tahmin ederken ve analiz ederken en az öneme sahip olabilecek başka birçok ilgisiz ve gereksiz veri olabilir. Bu nedenle ETL çalışmalarına başlamadan önce ilgili verilerin ve tabloların seçilmesi gerekir.
2. Eşleme sayfası : ETL çalışmaları yaparken kritik ihtiyaçlardan biri budur. Kaynaktan hedefe doğru tablonun eşleştirilmesi zorunludur ve bu sayfadaki herhangi bir sorun veya yanlış veri tüm ETL teslimini etkileyebilir.
3. Tablo tasarımları ve verileri, sütun türü : Bu, kaynak tabloların hedefli tablolarla eşleştirilmesi düşünüldüğünde bir sonraki büyük adımdır. Sütun türü, her iki yerdeki vb. Tablolarla eşleşmelidir.
4. Veritabanı erişimi : Önemli olan, ETL'nin devam ettiği veri tabanına erişimdir. Erişim üzerindeki herhangi bir kısıtlamanın eşdeğer bir etkisi olacaktır.

ETL Raporlama ve Test Etme

ETL'de raporlama, müşterinin ihtiyaçlarını açıklayıp yönlendirmesi açısından daha önemlidir. Bu sayede müşteri ihtiyaçlarını tam olarak tahmin edebilir ve analiz edebilirler.

Örnek 3:

İpek kumaş üreten bir firma yıllık satışlarını incelemek istedi. Yıllık satışları incelendiğinde, Ağustos ve Eylül aylarında, ürettikleri raporu kullanarak satışlarda muazzam bir düşüş olduğunu gördüler.

Bu nedenle, satışlarını artıran takas, indirimler vb. Promosyon teklifleri sunmaya karar verdiler.

ETL Testinde Temel Sorunlar

ETL testi gerçekleştirirken aşağıdaki gibi bir dizi sorun olabilir:

• Kaynak tablolara erişim veya görünümler geçerli olmayacaktır.
• Kaynaktan sonraki katmana kadar sütun adı ve veri türü eşleşmeyebilir.
• Kaynak tablodan hedeflenen tabloya kadar bir dizi kayıt eşleşmeyebilir.

Ve çok daha fazlası olabilir.

Aşağıda, VIEW_NAME, COLUMN_NAME, DATA_TYPE, TABLE_NAME, COLUMN_NAME, DATA_TYPE ve TRANSFORMATION LOGIC gibi sütunların bulunduğu bir eşleme sayfası örneği verilmiştir.

İlk 3 sütun, kaynak veritabanının ayrıntılarını temsil eder ve sonraki 3, hemen önceki veritabanı için ayrıntılardır. Son sütun çok önemlidir. Dönüşüm mantığı, kaynaktan gelen verilerin hedeflenen veritabanında okunma ve depolanma biçimidir. Bu, işletmeye ve ETL ihtiyaçlarına bağlıdır.

ETL Test Planlama ve Yürütme Sırasında Dikkat Edilmesi Gereken Noktalar

ETL testinde en önemli şey, kaynak DB'den ayıklama kriterlerine dayalı olarak verilerin yüklenmesidir. Bu kriter geçersiz veya eski olduğunda, tablodaki ETL testini gerçekleştirmek için gerçekten daha fazla sorunu beraberinde getiren veri olmayacaktır.

ETL Test Planlama ve Yürütme sırasında dikkat edilmesi gereken noktalardan bazıları şunlardır:

# 1) Veriler, heterojen veri kaynaklarından çıkarılıyor
#iki) Aşağıdakilerden farklı olan entegre ortamda ETL süreç yönetimi:

• DBMS
• SEN
• Donanım
• İletişim protokolleri

# 3) Fiziksel veriler dönüştürülmeden önce mantıksal bir veri eşleme sayfasına sahip olma gerekliliği
# 4) Veri kaynaklarının anlaşılması ve incelenmesi
# 5) İlk yükleme ve artımlı yükleme
# 6) Denetim sütunları
# 7) Gerçekleri ve boyutları yükleme

ETL Araçları ve Önemli Kullanımları

ETL araçları, temel olarak dönüşüm mantığı kaynaktan diğerine veri alarak dönüşüm mantığını uygulayarak. Ayrıca, şemaları kaynaktan hedefe benzersiz şekillerde eşleyebilir, verileri hedefe taşınmadan önce verimli bir şekilde yüklemenin yanı sıra verileri dönüştürebilir ve temizleyebilirsiniz.

Neredeyse tüm ETL doğrulama ve doğrulama için kullanılan eşleştirme yapılabildiğinden, bu, manuel çabaları önemli ölçüde azaltabilir.

ETL araçları :

torrent dosyası nasıl oynanır

1. Bilişim - PowerCenter - Informatica Corporation tarafından sunulan popüler ETL araçlarından biridir. Bu, geniş alanları kapsayan çok iyi bir müşteri tabanına sahiptir. Aracın ana bileşenleri, istemciler için araçları, depo araçları ve sunuculardır. Araç hakkında daha fazla bilgi için lütfen tıklayın İşte
2. IBM - Infosphere Information Server - Bilgisayar teknolojisi alanında pazar lideri olan IBM, 2008 yılında Bilgi Entegrasyonu ve Yönetimi için kullanılan Infosphere Information sunucusunu geliştirdi. Araç hakkında daha fazla bilgi için lütfen tıklayın İşte
3. Oracle - Veri Entegratörü - Oracle Corporation, ETL aracını Oracle - Data Integrator adına geliştirdi. Artan müşteri desteği, ETL araçlarını çeşitli sürümlerde güncellemelerini sağladı. Araç hakkında daha fazla bilgi için lütfen tıklayın İşte

ETL testinin kullanımına ilişkin daha fazla örnek:

Stratejik olarak müşterileri çekmek için promosyonlar ve teklifler sunmak isteyen bazı havayollarını düşünmek. Öncelikle, müşterinin şartnamelerinin taleplerini ve ihtiyaçlarını anlamaya çalışacaklar. Bunu başarmak için, geçmiş verilere, tercihen önceki 2 yıllık verilere ihtiyaç duyacaklardır. Verileri kullanarak, müşterilerin ihtiyaçlarını anlamada yardımcı olacak bazı raporları analiz edecek ve hazırlayacaklar.

Raporlar aşağıdaki türde olabilir:

1. Belirli tarihlerde B bölgesine seyahat eden A bölgesinden müşteriler
2. Belirli yaş kriterine sahip müşteriler XX şehre seyahat eder

Ve başka birçok rapor olabilir.

Bu raporları analiz etmek, müşterilerin müşterilere fayda sağlayacak promosyon ve teklif türlerini belirlemelerine yardımcı olacak ve aynı zamanda bunun Kazan-Kazan durumu haline gelebileceği işletmelere fayda sağlayabilir. Bu, ETL testi ve raporları ile kolayca elde edilebilir.

Buna paralel olarak, BT segmenti, birden fazla hizmeti durduran ve bunun sonucunda da işletmede etkilere neden olma potansiyeline sahip olduğu fark edilen ciddi bir DB sorunuyla karşı karşıyadır. Araştırma sırasında, bazı geçersiz verilerin manuel olarak düzeltilmesi gereken birkaç veritabanını bozduğu tespit edildi.

İlk durumda, gerekli olacak olan ETL raporları ve testleridir.

İkinci durum, geçersiz verilerle ilgili sorunların üstesinden gelmek için DB testinin düzgün bir şekilde yapılması gerektiği durumdur.

Sonuç

Umarım yukarıdaki eğitim, ETL testinin ne olduğu ve neden yaptıkları iş etkileri veya faydaları ile birlikte yapılması gerektiğine dair basit ve net bir genel bakış sağlamıştır. Bu burada bitmiyor, ancak iş dünyasında büyümede öngörü oluşturmak için genişletilebilir.

Yazar hakkında: Bu eğitim Nagarajan tarafından yazılmıştır. Hem manuel hem de otomasyon açısından Bankacılık, Havayolları ve Telekom gibi çeşitli fonksiyonel alanlarda 6 yılı aşkın Yazılım Test deneyimine sahip bir Test Lideridir.

Lütfen aşağıdaki yorumlarda düşüncelerinizi / sorularınızı bize bildirin.

Önerilen Kaynaklar

• ETL Test Mülakat Soruları ve Cevapları
• ETL Test Veri Ambarı Test Eğitimi (Tam Kılavuz)
• 2021'de En İyi 10 ETL Test Aracı
• Informatica PowerCenter Aracını Kullanarak ETL Testi Nasıl Gerçekleştirilir
• 31 En İyi Veritabanı Testi Görüşme Soruları ve Cevapları
• 40'tan Fazla En İyi Veritabanı Test Aracı - Popüler Veri Test Çözümleri
• Veritabanı Testi Tam Kılavuzu (Veriler Neden, Ne ve Nasıl Test Edilir)
• Selenium Veritabanı Testi (WebDriver ve JDBC API kullanarak)