comprehensive hadoop testing tutorial big data testing guide
Bu eğitici, Hadoop ve Büyük Veri Testi için Temeller, Test Türleri, Planlar, Gerekli Ortam, Test Süreci, Doğrulama ve Doğrulamaları açıklar:
Bu eğiticide, testin ne zaman ve nerede devreye gireceği ve Hadoop Testinin bir parçası olarak neleri test etmemiz gerektiği gibi Hadoop ve BigData Testing'e temel girişi göreceğiz.
Ayrıca aşağıdaki konuları detaylı olarak tartışacağız:
- Hadoop Testinin Rolleri ve Sorumlulukları
- Hadoop / BigData Testi için Test Yaklaşımı
=> BigData Eğitim Öğreticilerinin A-Z'sini Burada Görmek İçin Burayı Kontrol Edin.
Ne öğreneceksin:
- Verileri Hadoop'ta Saklama ve İşleme
- BigData ve Hadoop Testi
- Büyük Verileri Test Etme Stratejisi veya Planı Nedir?
- Büyük Veri Testi İçin Test Türleri
- BigData Hadoop Testi İçin Araçlar
- Ortamları ve Ayarları Test Etme
- Hadoop Testinin Rolleri ve Sorumlulukları
- Hadoop Testi / Büyük Veri Testi İçin Test Yaklaşımı
- Sonuç
- Önerilen Kaynaklar
Verileri Hadoop'ta Saklama ve İşleme
Bu işlemleri Hadoop sistemi üzerinde gerçekleştirmek için dört bölüme ayrılmış insan gücüne sahibiz.
- Hadoop Yöneticileri ortamı kurmaktan sorumludur ve Hadoop Sistemlerine erişmek için Yönetim Haklarına sahiptir.
- Hadoop Geliştiricileri Verilerin farklı lokasyonlardan merkezi lokasyonlara çekilmesi, depolanması ve işlenmesi ile ilgili programlar geliştirir.
- Hadoop Test Cihazları farklı konumlardan çekmeden önce ve merkezi konumda çekildikten sonra verilerin doğrulanması ve doğrulanmasının yanı sıra, verileri istemci ortamına yüklerken doğrulama ve doğrulama yapılır.
- Hadoop Analistleri veri yükleme tamamlandığında ve veri müşteri konumunda depoya ulaştığında çalışır. Bu verileri rapor ve gösterge tablosu oluşturmak için kullanırlar. Analistler, büyüme ve iş geliştirme için veri analizi yapar.
Hadoop'un tek bir sistem olmadığını biliyoruz; birden çok sistem ve makine içerir. Veriler birden çok makineye bölünür ve depolanır ve ona tekrar erişmek istersek, verileri birleştirip raporlar halinde çekmemiz gerekir.
Geliştirici, verileri çıkarmak ve depolamak için JAVA ve Python'da programlar yazmaktan sorumludur.
Bir geliştiricinin diğer işi, verileri işlemektir. İki Hadoop katmanı vardır, biri depolamak içindir, yani Hadoop HDFS, diğeri ise İşleme içindir, yani Hadoop MapReduce.
Saklama, kaynakta sahip olduğumuz her türlü verinin sisteme kaydedilmesi / eklenmesi anlamına gelir. İşleme, onu birden fazla makineye bölmemiz ve tekrar birleştirip müşteriye göndermemiz gerektiği anlamına gelir.
Bu nedenle, Saklama ve İşleme komut dosyaları programlama tarafından yapılır ve geliştirici komut dosyalarını yazmaktan sorumludur.
Programlamanın yanı sıra, verileri Hadoop'ta depolamanın ve işlemenin diğer yöntemi Hive, Impala, HBase, vb. Gibi veritabanı uygulamalarını kullanmaktır. Bu araçlar herhangi bir programlama bilgisine ihtiyaç duymaz.
BigData ve Hadoop Testi
Depolama ve işleme geliştirici tarafından yapıldıktan sonra, veriler rapor oluşturma için gider. Bundan önce, işlenen verileri doğrulamamız ve verilerin doğru bir şekilde yüklenip doğru işlenip işlenmediğini kontrol etmemiz gerekir.
Bu nedenle, bir geliştirici tarafından oluşturulan program ve / veya komut dosyalarının Hadoop veya BigData Tester tarafından doğrulanması gerekir. Test edenin, komut dosyalarını doğrulamak ve komutları yürütmek için Mapper, Hive, Pig Scripts, vb. Gibi temel programlamayı bilmesi gerekir.
Bu nedenle, test etmeden önce, test uzmanlarının tüm programların ve komut dosyalarının çalıştığını, kodun nasıl yazılacağını bilmeleri ve ardından bunları nasıl test edeceklerini düşünmeleri gerekir. Test, manuel olarak veya otomasyon araçları kullanılarak yapılabilir.
Hadoop, Birim Testi, Regresyon Testi, Sistem Testi ve Performans Testi vb. Gibi çeşitli test türlerine sahiptir. Dolayısıyla bunlar, Hadoop ve BigData testlerinin yanı sıra normal testlerimizde kullandığımız yaygın test türleridir.
Hadoop ve BigData Testing'de test stratejisi, test senaryoları ve test senaryoları gibi aynı tür test terminolojilerine sahibiz. Yalnızca ortam farklıdır ve BigData ve Hadoop Sistemini test etmek için kullandığımız farklı teknikler vardır çünkü burada uygulamayı değil verileri test etmemiz gerekir.
BigData nasıl test edilir ve her şey BigData'da test edilmesini gerektirir?
BigData testi için bazı planlara ve stratejilere ihtiyacımız var.
Bu nedenle aşağıdaki noktaları dikkate almamız gerekiyor:
- Büyük Veri için test stratejisi veya planı nedir?
- BigData'ya ne tür test yaklaşımları uygulanıyor?
- Ortam ne gerektiriyor?
- BigData nasıl doğrulanır ve doğrulanır?
- BigData Testinde kullanılan araçlar nelerdir?
Yukarıdaki tüm soruların yanıtlarını almaya çalışalım.
Büyük Verileri Test Etme Stratejisi veya Planı Nedir?
BigData testi, verilerin Veri Ambarı'nda depolanması ve işlenmesi sırasında Doğrulanması ve Doğrulanması anlamına gelir.
BigData'yı test ederken, farklı veritabanlarından çıkarılan ve yüklenen ve ayrıca Veri Ambarı veya Hadoop Sisteminde işlenen verilerin Hacmini ve Çeşitliliğini test etmemiz gerekir, bu test fonksiyonel testlere tabi tutulur.
Çeşitli veritabanlarından indirilen ve Performans Testinin bir parçası olan Hadoop Sistemine yüklenen Verilerin Hızını test etmemiz gerekiyor.
Bu nedenle, bir plan veya strateji olarak, Büyük Veri Testinin İşlevsel ve Performans Testine odaklanmamız gerekiyor.
BigData Testinde, test edenin Commodity Hardware ve ilgili bileşenleri kullanarak büyük miktarda verinin işlendiğini doğrulaması gerekir. Bu nedenle, verilerin kalitesi de BigData'nın test edilmesinde önemli bir rol oynar. Verilerin kalitesini doğrulamak ve doğrulamak çok önemlidir.
Büyük Veri Testi İçin Test Türleri
Önceki bölümde, İşlevsel Test ve Performans Testinin BigData Testing'de hayati bir rol oynadığını gördük, bunun dışında bir BigData Tester olarak, Veritabanı Testi ve Mimari Test gibi birkaç test türü daha yapmamız gerekiyor.
Bu test türleri aynı zamanda İşlevsel ve Performans Testi kadar önemlidir.
# 1) Mimari Testler
Bu test, verilerin uygun şekilde işlendiğinden ve gereksinimleri karşıladığından emin olmak için yapılır. Aslında, Hadoop Sistemi çok büyük miktarda veriyi işler ve son derece kapsamlı kaynaklıdır.
Mimari uygun değilse, verinin işlenmesinin kesintiye uğramasına ve veri kaybına neden olabileceği için performansı düşürebilir.
# 2) Veritabanı Testi
Burada süreç doğrulama devreye girer ve çeşitli Veritabanlarından alınan verileri doğrulamamız gerekir, yani kaynak veritabanlarından veya yerel veritabanlarından alınan verilerin doğru ve uygun olmasını sağlamamız gerekir.
Ayrıca Kaynak Veritabanlarında bulunan verilerin Hadoop Sistemine girilen verilerle eşleşip eşleşmediğini kontrol etmemiz gerekir.
Benzer şekilde, Hadoop Sistemindeki verilerin işlendikten sonra veya dönüşümden sonra doğru ve uygun olup olmadığını ve uygun doğrulama ve doğrulama ile müşterinin ortamına yüklenip yüklenmediğini doğrulamamız gerekir.
Veritabanı Testinin bir parçası olarak, ZALİM operasyonlar yani Oluşturmak Yerel Veritabanlarındaki veriler daha sonra Al verileri aramamız gerekir ve Veri Ambarı'na ve Veri Ambarından Müşterinin Ortamına yüklenmeden önce ve sonra Veritabanında mevcut olmalıdır.
Herhangi birinin doğrulanması Güncellenmiş Verilerin Depolanması veya Yüklenmesi ve İşlenmesinin her aşamasında veriler Herhangi bir bozuk verinin veya herhangi bir yinelenen ve boş verinin silinmesi.
# 3) Performans Testi
Performans Testinin bir parçası olarak, örneğin IOPS (Saniyedeki Giriş Çıkışı) gibi verilerin yükleme ve işleme hızını kontrol etmemiz gerekir.
Çeşitli Veritabanlarından Veri Ambarı veya Hadoop Sistemine ve Hadoop Sisteminden veya Veri Ambarından Müşterinin Ortamına Giriş olarak veri veya veri girme hızını kontrol etmeniz gerekir.
Ayrıca, çeşitli Veritabanlarından ve Veri Ambarı'ndan bir Çıktı olarak gelen verilerin hızını da kontrol etmelidir. Bu, Saniyedeki Giriş Çıkışı veya IOPS olarak adlandırdığımız şeydir.
Bunun dışında, başka bir yön, Veri Emme ve Veri Dağıtımının performansını ve verilerin Veri Ambarı tarafından çeşitli Veritabanlarından ve Müşterinin Sistemi tarafından Hadoop Sisteminden ne kadar hızlı tüketildiğini kontrol etmektir.
Ayrıca bir Test Cihazı olarak, verilerin Hadoop Sisteminde veya Veri Ambarı'nda bulunan çeşitli dosyalara ne kadar hızlı dağıtıldığı gibi Veri Dağıtımının performansını kontrol etmemiz gerekir. Benzer şekilde, aynı işlem verileri İstemci Sistemlerine dağıtırken de gerçekleşir.
Hadoop Sistemi veya Veri Ambarı birden çok bileşenden oluşur, bu nedenle bir Test Cihazı, MapReduce İşleri, veri ekleme ve tüketim, sorguların yanıt süresi ve performansları gibi tüm bileşenlerin performansını ve aramanın performansını kontrol etmelidir. operasyonlar. Tüm bunlar Performans Testine dahildir.
# 4) İşlevsel Test
İşlevsel Test, tüm alt bileşenlerin, programların ve komut dosyalarının, Depolama veya Yükleme ve İşleme işlemlerini gerçekleştirmek için kullanılan araçları vb. İçerir.
Bir Test Cihazı için bunlar, müşterinin mükemmel ve hatasız verileri elde etmesi için verilerin filtrelenmesi gereken dört önemli tür ve aşamadır.
BigData Hadoop Testi İçin Araçlar
BigData'yı test etmek için kullanılan çeşitli araçlar vardır:
- Büyük Verileri Saklamak için HDFS Hadoop Dağıtım Dosya Sistemi.
- BigData'yı İşlemek için HDFS Map Reduce.
- NoSQL veya HQL Cassandra DB, ZooKeeper ve HBase vb. İçin
- EC2 gibi Bulut Tabanlı sunucu araçları.
Ortamları ve Ayarları Test Etme
Her tür test için, Test Cihazının uygun ayarlara ve ortama ihtiyacı vardır.
Gereksinimlerin listesi aşağıda verilmiştir:
- Test edilecek veri ve uygulama türü.
- Depolama ve işleme, büyük miktarda veri için geniş bir alan gerektirir.
- Küme genelindeki tüm DataNode'larda Dosyaların doğru dağıtımı.
- Verileri işlerken donanım kullanımı minimum düzeyde olmalıdır.
- Uygulamanın gereksinimlerine göre Çalıştırılabilir Programlar ve Komut Dosyaları.
Hadoop Testinin Rolleri ve Sorumlulukları
Bir Hadoop Test Cihazı olarak, gereksinimleri anlamak, Test Tahminlerini hazırlamak, Test Durumlarını Planlamak, Bazı Test Durumlarını test etmek için bazı Test Verileri almak, Test Yatağı oluşturma, Test Planlarını Yürütme, Hataların Raporlanması ve Yeniden Test edilmesinden sorumluyuz.
Ayrıca, Günlük Durum Raporlaması ve Testi Tamamlamadan sorumlu olmamız gerekir.
Tartışacağımız ilk şey, Test Stratejisi . Sorunumuz için önerilen bir çözüm bulduktan sonra, test planımızı planlamamız veya stratejimizi geliştirmemiz gerekir, orada kullanabileceğimiz otomasyon stratejisini, teslimat tarihlerimize bağlı test programıyla ilgili planı tartışabiliriz. kaynak planlamasını tartışabilir.
Otomasyon stratejisi, ürünü test etmek için gereken manuel çabaları azaltmamıza yardımcı olacak bir şeydir. Test Programı, ürünün zamanında teslim edilmesini sağlayacağından önemlidir.
Kaynak Planlama, testlerimizde ne kadar çalışma saatine ihtiyacımız olduğunu ve Test Planlamamızı yürütmek için ne kadar Hadoop Kaynağına ihtiyaç duyduğumuzu planlamamız gerektiğinden çok önemli olacaktır.
Testlerimizin stratejisini oluşturduktan sonra, testlerimizi otomatikleştirmemize ve ayrıca Test Planlarında kullanılacak bazı Test Verilerini tanımlamamıza yardımcı olacak Test Planları Oluşturma, Test Komut Dosyaları Oluşturmayı içeren Test Geliştirme Planlarını oluşturmamız gerekir. ve bu Test Planlarını uygulamamıza yardımcı olur.
Test Planlarının, Test Komut Dosyalarının ve Test Verilerinin Oluşturulmasını içeren Test Geliştirme ile işimiz bittiğinde, devam edip bu Test Planlarını uygulamaya başlarız.
Test Planlarını yürüttüğümüzde, gerçek çıktının beklendiği gibi olmadığı ve bunlara kusur adı verilen bazı senaryolar olabilir. Bir kusur olduğunda, bu kusurları da test etmemiz ve bunlar için matrisleri oluşturmamız ve sürdürmemiz gerekir.
Tüm bunlar bir sonraki kategoriye girer. Hata Yönetimi .
Hata Yönetimi Nedir?
Hata Yönetimi; Hata İzleme, Hata Giderme ve Hata Doğrulamadan oluşur. Sahip olduğumuz herhangi bir ürün için bir Test Planı yürütüldüğünde ve belirli bir hata tespit edildiğinde veya bir kusur tespit edildiğinde, bu kusurun geliştiriciye bildirilmesi veya geliştiriciye atanması gerekir.
Böylece Geliştirici araştırabilir ve üzerinde çalışmaya başlayabilir. Bir Test Cihazı olarak Hatanın ilerlemesini izlememiz ve Hatanın giderilip giderilmediğini izlememiz gerekir. Hata bildirildiği gibi giderildiyse, devam edip yeniden test etmemiz ve çözülüp çözülmediğini doğrulamamız gerekir.
Tüm hatalar giderildikten, kapatıldıktan ve doğrulandıktan sonra devam edip OKAY Test edilmiş bir ürün teslim etmemiz gerekir. Ancak ürünü teslim etmeden önce UAT'nin (Kullanıcı Kabul Testi) başarıyla tamamlandığından emin olmalıyız.
Kurulum testinin ve gereksinim doğrulamasının doğru bir şekilde yapıldığından emin oluruz, yani müşteriye veya bir son kullanıcıya teslim edilen ürün, Yazılım Gereksinim Belgesinde belirtilen gereksinime uygundur.
Tartıştığımız adımlar, hayal gücüne dayanmaktadır; bu adımlar için kullanacağımız test senaryolarından herhangi biri veya test yaklaşımlarından herhangi biri olabilir veya ürünümüzü test etmek ve nihai sonucu sunmak için bu ifadeleri söyleyin. OKAY Test edilmiş ürün.
Devam edelim ve bunu ayrıntılı olarak tartışalım ve bunu Hadoop Testi ile ilişkilendirelim.
Hadoop'un Toplu İşleme için kullanılan bir şey olduğunu biliyoruz ve ETL'nin de Hadoop'un en çok kullanıldığı alanlardan biri olduğunu biliyoruz. ETL, Ekstraksiyon Dönüşümü ve Yükleme anlamına gelir . Hadoop Testi bakış açısı olarak Test Planı ve Test Stratejisini tartıştığımızda bu süreçleri detaylı olarak tartışacağız.
Aşağıda bahsedilen diyagrama göre, sadece dört farklı Veri Kaynağımız olduğunu varsayıyoruz. İşletim Sistemi, CRM ( Müşteri ilişkileri yönetimi ) ve ERP ( Kurumsal Kaynak Planlama ) RDBMS'dir veya sahip olduğumuz İlişkisel Veri Tabanı Yönetim Sistemidir ve ayrıca günlükler, dosyalar, kayıtlar veya Veri Kaynaklarımızla ilgili herhangi bir şey olan bazı Düz Dosyalara sahibiz.
Verileri, kayıtları veya Veri Kaynaklarım olarak almak için Sqoop veya Flume veya herhangi bir belirli ürünü kullanıyor olabiliriz. Bu araçları Veri Kaynaklarından verileri, sürecimizin ilk aşaması olan evreleme dizinime almak için kullanabiliriz. Çıkarma.
Aslında HDFS (Hadoop Dağıtım Dosya Sistemi) olan Aşama Dizinindeki Veriler, özellikle PIG gibi komut dosyası dilini kullanacağız. Dönüştürme bu Veri. Bu dönüşüm Elimizdeki Verilere göre olacaktır.
Veriler, sahip olduğumuz kodlama teknolojisi kullanılarak uygun şekilde dönüştürüldüğünde, Yükleniyor Verileri Veri Ambarı'na aktarın. Veri Ambarı'ndan, bu veriler OLAP Analizi, Raporlama ve Veri Madenciliği veya Analytics için kullanılacaktır.
Devam edelim ve Hadoop Testi için hangi aşamaları kullanabileceğimizi tartışalım.
İlk aşama, Ekstraksiyon aşaması olacaktır. Burada, verileri Kaynak Veri Tabanlarımızdan veya Düz dosyalarımızdan alacağız ve bu durumda yapabileceğimiz şey, tüm Verilerin kaynaktan Aşama Dizinine başarıyla ve doğru bir şekilde kopyalandığını doğrulayabiliriz.
Kayıtların sayısının doğrulanması, Kayıtların türü ve Alanların türü, vb. İçerebilir.
Bu veriler Aşama Dizinine kopyalandıktan sonra, devam edip ikinci aşama olan Dönüşüm'ü tetikleyeceğiz. Burada, Kaynak Sistemlerden kopyalanan veriler üzerinde hareket edecek ve veriyi gerçekten yaratacak veya gerekli iş mantığına dönüştürecek bazı iş mantığına sahip olacağız.
Dönüştürme, Verilerin Sıralanması, Verilerin Filtrelenmesi, Verilerin iki farklı Veri Kaynağından Birleştirilmesi ve diğer bazı işlemleri içerebilir.
Veriler dönüştürüldükten sonra, devam edip test planları hazırlayacağız ve çıktıyı beklendiği gibi alıp almadığımızı kontrol edeceğiz ve elde ettiğimiz tüm çıktılar beklenen sonucu ve Veri Türlerini, Alan Değerlerini ve aralıklar vb. yerine düşen şeylerdir.
Doğru olduğunda, devam edip verileri Veri Ambarı'na yükleyebiliriz.
Yükleme aşamasında, aslında Stage'deki kayıtların sayısının ve Veri Ambarı'ndaki kayıtların sayısının senkronize olup olmadığını kontrol ediyoruz, bunlar benzer olmayabilir, ancak senkronize olmaları gerekir. Ayrıca dönüştürülen Veri türünün senkronize olup olmadığını da görüyoruz.
Bu Verileri, ürünümüzün son katmanı olan OLAP Analizi, Raporlama ve Veri Madenciliği için kullanacağımızı ve bu durumda sonraki katmanlar olabilir veya tüm bu katmanlar için Test Planlarının mevcut olduğunu söyleyebiliriz.
Kaynaktan hedefe bir miktar Veri aldığımızda, her zaman yalnızca Kimliği Doğrulanmış Kişilerin Verilere Yetkili erişime sahip olduğundan emin olmamız gerekir.
Doğrulama
yetki
Bu iki terimle ne demek istiyoruz?
Bunu anlamak için, olayları ETL Şemasından perspektif olarak ele alalım.
Yukarıdaki diyagrama göre, Verilerimizi Kaynak RDBMS Motorlarından ve Düz Dosyalardan HDFS'ye alıyoruz ve bu aşama Çıkarma olarak adlandırılıyor.
Doğrulamayı belirli bir şekilde tartışalım, doğası gereği kısıtlanmış Verilere sahip belirli işletmeler vardır, bu tür Verilere Amerika Birleşik Devletleri standartlarına göre PII Verileri denir.
PII duruyor Kişisel Tanımlanabilir Bilgiler, Doğum Tarihi, SSN, Cep Numarası, E-posta Adresi ve Ev Adresi vb. gibi bilgilerin tümü PII kapsamındadır. Bu sınırlıdır ve herkesle paylaşılamaz.
Veriler, yalnızca ona en çok ihtiyaç duyan kişilerle ve gerçek işleme için Verilere ihtiyaç duyan kişilerle paylaşılmalıdır. Bu kontrol ve ilk savunma hattının yerine getirilmesi, Kimlik Doğrulama olarak adlandırılır.
Örneğin, Bir Dizüstü Bilgisayar kullanıyoruz ve orada Windows Yüklendi, Windows İşletim Sistemimizde oluşturulmuş bir kullanıcı hesabımız olabilir ve orada bir şifre uyguluyorduk.
Bu şekilde, yalnızca bu belirli kullanıcı hesabı için Kimlik Bilgilerine sahip olan kişi Sisteme giriş yapabilir ve bu şekilde Verilerimizi hırsızlık veya gereksiz erişimden koruyacağız. Diğer katman Yetkilendirmedir.
Misal, Windows İşletim Sistemimizde iki farklı kullanıcı hesabımız var, Bir kullanıcı hesabı bizim ve diğeri konuk kullanıcı hesabı olabilir. Yönetici (BİZ), yazılımın yüklenmesi ve kaldırılması, Yeni dosyanın oluşturulması ve mevcut dosyaların silinmesi gibi her türlü işlemi yapma hakkına sahiptir.
Öte yandan, konuk kullanıcılar bu tür erişime sahip olmayabilir. Konuğun sistemde oturum açmak için kimlik doğrulaması vardır, ancak dosyaları silme veya oluşturma ve sistemdeki herhangi bir yazılımı ve sistemden yükleme ve kaldırma yetkisi yoktur.
Ancak, kimlik doğrulaması yapıldığı için konuk kullanıcı hesabı, oluşturulan dosyaları okuma ve önceden yüklenmiş yazılımı kullanma hakkına sahiptir.
Kimlik Doğrulama ve Yetkilendirme, bu durumda, HDFS'de bulunan Veriler veya Verilerin Kimlik Doğrulaması ve Yetkilendirmesi için kontrol etmemiz gereken dosya sistemlerinden herhangi biri ne olursa olsun, bu şekilde test edilir.
Hadoop Testi / Büyük Veri Testi İçin Test Yaklaşımı
Test Yaklaşımı, yalnızca Büyük Veri veya Hadoop Testi olduğu için değil, Normal Manuel Test veya Otomasyon Testi veya Güvenlik Testine, Performans Testine de gittiğimizde, tüm test türleri için ortaktır, dolayısıyla her tür Test aynı yaklaşımı izler.
Gereksinimler
Test Yaklaşımının bir parçası olarak, Gereksinimler , Gereksinim temel bir şeydir, günümüzde Agile sürecinde ona Hikayeler ve Destanlar dedik. Epic, daha büyük bir gereksinimden başka bir şey değildir, oysa Hikayeler daha küçük gereksinimlerdir.
Gereksinim temelde tüm Veri Modellerini, Hedefleri, Kaynakları ve ne tür Dönüşümleri uygulamamız gerektiğini, ne tür araçlar kullanmamız gerektiğini içerir? Tüm bu tür ayrıntılar Gereksinimler bölümünde mevcut olacaktır.
Bu temelde Müşteri Gereksinimi veya Müşteri Gereksinimleridir. Bu Gereksinime göre Test Sürecimize başlayacağız.
Tahmin
Yaklaşımın diğer bir kısmı Tahmin , Testin bir parçası olarak tüm aktivitenin yapılması için ne kadar zaman almamız gerektiği. Test Planlama, Test Senaryolarının hazırlanması, Test Senaryolarının hazırlanması ve Uygulanmasının yanı sıra hataları bulup raporlayıp Test Raporları da hazırlıyoruz.
Tüm bu faaliyetler biraz zaman alacaktır, bu nedenle tüm bu etkinlikleri tamamlamak için ne kadar zamana ihtiyacımız var ve buna temelde Tahmin denir. Yönetime kaba bir tahmin vermemiz gerekiyor.
Test Planlama
Test Planlama süreçlerle ilgili açıklama, neyin test edileceği, neyin test edilmeyeceği, testin kapsamı nedir, programlar nelerdir, kaç kaynak gereklidir, Donanım ve Yazılım gereksinimleri ve test döngülerinin yanı sıra zaman çizelgeleri nelerdir kullanılacak, istediğimiz test seviyeleri nelerdir, vb.
Test Planlaması sırasında, Projeye belirli Kaynak Tahsisi yapacaklar ve sahip olduğumuz farklı modeller neler, kaç kaynak gerekli ve ne tür Beceri setleri gerekiyor, vb. Tüm bu şeyler ve hususlar Teste dahil edilecek Planlama aşaması.
Çoğu zaman, lider seviyesi veya yönetim seviyesindeki insanlar Test Planlamasını yapacaklardır.
Test Senaryoları ve Test Durumları
Test Planlama ile işimiz bittiğinde, hazırlanmamız gerekir Test Senaryoları ve Test Durumları , özellikle Büyük Veri Testi için, gereksinim belgesiyle birlikte birkaç belgeye ihtiyacımız var. Bu gereklilik belgesiyle birlikte neye ihtiyacımız var?
İhtiyacımız var Gereksinim Belgesi Müşterinin ihtiyaçlarını içeren, bununla birlikte ihtiyacımız olan Giriş Belgesi yani Veri Modelleri. Veri Modeli anlamında DataBase Şemaları nedir, tablolar nelerdir ve ilişkiler nelerdir tüm bu Veriler Veri Modellerinde mevcut olacaktır.
Ayrıca, bizde Belgeleri Haritalama , Haritalama Belgeleri Örneğin. İlişkisel Veri Tabanları'nda bazı Tablolarımız var ve Verileri HDFS'deki Veri Ambarı'na ETL aracılığıyla yükledikten sonra, yapmamız gereken tüm eşleştirme nedir? ör. Veri Türü Eşleme.
ikili ağaç java'da düğüm ekle
Örneğin, HDFS'de bir Müşteri Tablosu varsa, HDFS'de bir CUSTOMER_TARGET Tablosu var veya aynı Tablo HIVE'da da olabilir.
Bu Müşteri Tablosunda belirli sütunlarımız ve MÜŞTERİ HEDEF Tablosunda şemada gösterildiği gibi belirli sütunlarımız bulunmaktadır. Verileri Müşteri Tablosundan MÜŞTERİ HEDEF Tablosuna, yani Kaynaktan Hedefe aktardık.
Ardından, Müşteri Tablosunun Sütun 1 ve Satır 1 olan ve bunu C1R1 olarak kabul eden Kaynak Tabloda bulunan Veriler gibi tam eşlemeyi kontrol etmemiz gerekir ve aynı Veriler MÜŞTERİ HEDEF Tablosunun C1R1'inde eşleştirilmelidir. Bu temelde Haritalama olarak adlandırılır.
Doğrulamamız gereken tüm Eşlemelerin neler olduğunu nasıl bileceğiz? Dolayısıyla, bu Eşlemeler Haritalama Belgesinde yer alacak. Haritalama Belgesinde Müşteri her türlü Eşleştirmeyi verecektir.
Ayrıca, bir Tasarım Dokümanı , Hem Geliştirme Ekibi hem de Kalite Güvencesi Ekibi için Tasarım Dokümanı gereklidir, çünkü Tasarım Dokümanında Müşteri, ne tür Harita Azaltma İşleri uygulayacaktır ve ne tür MapReduce İşleri Girdi alır ve ne tür MapReduce İşler Çıktılar verir.
Benzer şekilde, HIVE veya PIG'e sahipsek, Müşterinin oluşturduğu tüm UDF'lerin yanı sıra alacakları tüm girdiler nelerdir ve ne tür çıktılar üretecekler vb.
Test Senaryolarını ve Test Senaryolarını hazırlamak için tüm bu Belgeleri elimizde bulundurmamız gerekir:
- Gereksinim Belgesi
- Veri örneği
- Haritalama Belgesi
- Tasarım Dokümanı
Bunlar bir Kuruluştan diğerine değişebilir ve tüm bu belgelere sahip olmamız gerektiğine dair zorunlu bir kural yoktur. Bazen tüm belgelere sahibiz ve bazen yalnızca iki veya üç belgeye sahibiz veya bazen tek bir belgeye de güvenmemiz gerekir, bu da projenin karmaşıklığına, şirket programlarına ve her şeye bağlıdır.
Test Senaryoları ve Test Durumları Üzerine İncelemeler
Test Senaryoları ve Test Durumları üzerinde bir inceleme yapmamız gerekir çünkü bir şekilde veya bazı durumlarda bazı Test Durumlarını unuturuz veya kaçırırız çünkü herkes gereksinimlerle yapılabilecek tüm olası şeyleri düşünemez, bu gibi durumlarda almamız gerekir üçüncü taraf araçlardan veya başka birinden yardım.
Bu nedenle, ne zaman bazı belgeler hazırlasak veya bir şeyler gerçekleştirsek, o zaman Geliştiriciler, Testçiler gibi aynı ekipten olan şeyleri gözden geçirecek birine ihtiyacımız var. Daha fazlasını eklemek için uygun önerilerde bulunacaklar veya ayrıca Test Senaryolarını ve Test Senaryolarını güncelleme veya değiştirme önereceklerdir.
Tüm yorumları sağlarlar ve buna bağlı olarak Test Senaryolarımızı ve Test Durumlarımızı ve belge gereksinime göre tamamen güncellenene kadar ekip genelinde yayınlamamız gereken belgenin birden çok sürümünü güncelleyeceğiz.
Test uygulaması
Belge hazır olduğunda, temelde Test Vakası Yürütme adı verilen yürütme sürecini başlatmak için üst ekipten onay alacağız.
Yürütme sırasında Test Durumlarımızı yürütmek istiyorsak, Geliştiricinin bilgileri göndermesi gerekip gerekmediğini kontrol etmemiz gerekir; bu normal İşlevsel Test veya başka bir test veya Otomasyon Testi ise bir Derlemeye ihtiyacımız var. Ancak burada, Hadoop veya BigData Test açısından bakıldığında, Geliştirici MapReduce Jobs sağlayacaktır.
HDFS Dosyaları - HDFS'de kopyalanan dosyalar ne olursa olsun, bu dosya bilgileri ayrıcalıkları kontrol etmek için gereklidir, Geliştiriciler tarafından HIVE Tablosundaki Verileri doğrulamak için oluşturulan HIVE Komut Dosyaları ve ayrıca Geliştiriciler tarafından geliştirilen HIVE UDF'lerine ihtiyacımız var, PIG Komut dosyaları ve PIG UDF'ler.
Geliştiricilerden almamız gereken her şey bunlar. İnfaza gitmeden önce tüm bunlara sahip olmalıyız.
MapReduce İşleri için, bazı JAR Dosyaları sağlarlar ve HDFS'nin bir parçası olarak verileri zaten HDFS'ye yüklediler ve dosyalar HIVE Tablolarındaki Verileri doğrulamak için HIVE Komut Dosyaları hazır olmalıdır. Uyguladıkları UDF'ler ne olursa olsun, HIVE UDF'lerinde mevcut olacaktır. Aynı şeyi PIG Komut Dosyaları ve UDF'ler için de istiyoruz.
Kusur Raporlama ve İzleme
Test Durumlarımızı gerçekleştirdiğimizde, bazı kusurlar buluruz, bazıları beklenen ve gerçek olan, beklenen sonuçlara eşit değildir, bu nedenle, aynısını listelememiz ve bunları çözüm için geliştirme ekibine sağlamamız gerekir ve buna temelde Kusur Raporlama denir.
Varsayalım ki, MapReduce İşinde bir Kusur bulursak, bunu Geliştiriciye rapor edeceğiz ve MapReduce İşini yeniden oluşturacaklar ve bazı kod seviyesi değişiklikleri yapacaklar ve sonra yine test etmemiz gereken en son MapReduce İşini sağlayacaklar .
Bu devam eden bir süreçtir, iş test edilip geçildikten sonra tekrar test etmemiz ve Geliştiriciye bildirmemiz ve ardından test için bir sonrakini almamız gerekir. Kusur Raporlama ve İzleme etkinliği bu şekilde gerçekleştirilir.
Test raporları
Tüm Test İşlemlerini tamamladıktan ve Kusurlar kapatıldıktan sonra Test Raporlarımızı oluşturmamız gerekir. Test Raporları, şimdiye kadar Test Sürecini tamamlamak için yaptığımız her şeydir. Tüm planlama, test senaryolarının yazılması ve yürütülmesi, elde ettiğimiz çıktı vb. Her şey Test Raporları şeklinde birlikte belgelenir.
Bu raporları günlük olarak veya haftalık olarak veya Müşterinin ihtiyaçlarına göre göndermemiz gerekir. Günümüzde kuruluşlar AGILE Modelini kullanıyor, bu nedenle her Durum Raporunun Günlük Scrumlar sırasında güncellenmesi gerekiyor.
Sonuç
Bu eğiticide, şunları inceledik:
- Büyük Veriyi test etme stratejisi veya planı.
- Büyük Veri Testi için gerekli ortam.
- BigData Doğrulama ve Doğrulama.
- BigData'nın test edilmesinde kullanılan araçlar.
Ayrıca şunları da öğrendik -
- Test Stratejisi, Test Geliştirme, Test Yürütme, Hata Yönetimi ve Teslimat, Hadoop Testinin bir parçası olarak Rollerde ve Sorumluluklarda nasıl çalışır?
- Gereksinim Toplama, Tahmin, Test Planlama, Test Senaryolarının Oluşturulması ve Test Durumlarının yanı sıra incelemeleri içeren Hadoop / BigData Testi için Test Yaklaşımı.
- Ayrıca Test Yürütme, Hata Raporlama ve İzleme ve Test Raporlama hakkında bilgi sahibi olduk.
Bu BigData Test Eğitimi'nin size yardımcı olacağını umuyoruz!
=> TÜM BigData Eğitimlerini Buradan Kontrol Edin.
Önerilen Kaynaklar
- Hacim Testi Eğitimi: Örnekler ve Hacim Testi Araçları
- SoapUI Pro'da Veriye Dayalı Test Nasıl Gerçekleştirilir - SoapUI Eğitimi # 14
- Örneklerle Veri Ambarı Test Eğitimi | ETL Test Kılavuzu
- Primer e-Kitap İndirmeyi Test Etme
- ETL Test Veri Ambarı Test Eğitimi (Tam Kılavuz)
- Hadoop nedir? Yeni Başlayanlar İçin Apache Hadoop Eğitimi
- Yıkıcı Muayene ve Tahribatsız Muayene Eğitimi
- Fonksiyonel Test ve Fonksiyonel Olmayan Test