apache hadoop yarn tutorial
Hadoop Bileşenleri - Hadoop YARN ile MapReduce:
Hadoop bileşeni ile ilgili önceki eğitimimizde, Hadoop MapReduce ve İşleme Mekanizması hakkında GİRİŞ, BÖLME, EŞLEME, KARŞILIK, AZALTMA ve SON SONUÇ öğrendik.
Bu eğitimde şunları keşfedeceğiz:
- Harita Azaltma, YARN ile nasıl çalışır?
- Hadoop YARN'ın Uygulama İş Akışı.
=> BigData Başlangıç Kılavuzuna Bir Göz Atın.
Ne öğreneceksin:
Hadoop YARN ile Harita Küçültme
MapReduce'un işleri Hadoop Kümesi üzerinden yürütmek için YARN'ı nasıl kullandığını anlayalım. Ancak devam etmeden önce aklımıza gelen ilk soru şudur: YARN'ın tam formu nedir? Veya YARN ne anlama geliyor?
İPLİK anlamına geliyor Yine Başka Bir Kaynak Müzakerecisi.
Kaynakları, Hadoop Kümesi üzerinden yürütülmesi gereken çeşitli işler için tahsis edendir. Hadoop 2.0'da tanıtıldı.
Hadoop 1.0'a kadar MapReduce, Hadoop Kümesi üzerinde çalışabilen tek çerçeve veya tek işleme birimiydi. Bununla birlikte, Hadoop 2.0'da YARN tanıtıldı ve bunu kullanarak, MapReduce'un ötesine geçebiliriz.
Şemada görebileceğiniz gibi, altta HDFS var, YARN var ve YARN kullanıyoruz, birçok çerçeve HDFS'yi bağlayabiliyor ve kullanabiliyor. Dolayısıyla, MapReduce bile Kaynakları istemek için YARN kullanarak bağlanmak için kullanılır ve ancak o zaman Job'u HDFS, yani Hadoop Kümesi üzerinden yürütebilir.
Benzer şekilde; SPARK, STORM ve diğer arama motorları HDFS'ye bağlanabilir. No SQL veritabanı olan HBase de onu bağlayabilir. Böylece, YARN diğer çerçeveler ve diğer Bigdata analitik araçları için Geçidi açabildiği için HDFS uygulamaları çok büyük hale geldi.
MapReduce Version1 (MRv1) ile MapReduce Version2 (MRv2) arasındaki fark nedir?
MRv1, esasen Hadoop framework 1'in bir parçasıydı ve Hadoop 2 ile YARN devreye girdi ve MapReduce, sınıflarda birkaç değişiklikle MRv2'ye yükseltildi. Sınıflar güncellendi, ancak MapReduce programını yazmanın sözdizimi aynı kaldı.
Bu senaryoda, MapReduce artık YARN ile HDFS eksenine bağlanır.
YARN ile birlikte Resource Manager ve Node Manager, Hadoop Kümesine eklenen yeni Daemon'lardır.
Daha önce Job Tracker ve Task Tracker idi. Ancak Hadoop 2.0'dan kaldırıldılar ve Kaynak Yöneticisi ve Düğüm Yöneticisi YARN ile birlikte Hadoop çerçevesine dahil edildi.
Hadoop 2.x Arka Planlar
Hadoop 2.0'da yeni kullanıma sunulan, Depolama ve İşleme gibi bileşenleri çalıştıran Daemon'lara hızlı bir göz atalım.
gelişmiş sql mülakat soruları ve cevapları pdf
HDFS eğitiminde Daemon, yani NameNode ve DataNode'u ayrıntılı olarak anladık. Bu eğitimde, Hadoop Kümesinde yürütülmesi gereken işlemleri ve işleri yönetmek için Kaynak Yöneticisi ve Düğüm Yöneticisinin Hadoop 2.x Kümesinde nasıl çalıştığını anlayacağız.
Peki, Kaynak Yöneticisi nedir? Kaynak Yöneticisi, Ana Makine veya üst düzey bir Makine olan Ad Düğümü üzerinde çalışan Ana Arka Planlardır. Öte yandan Düğüm Yöneticisi, Bağımlı Makinelerde veya DataNode'larda veya DataNode Süreci ile birlikte çalışan Daemon'dur.
Hadoop 2.x MapReduce YARN Bileşenleri
Aşağıda YARN'ın diğer bileşenlerini inceleyelim.
- Müşteri: İşe benzer Komut Satırı Arayüzünü (CLI) sunan bir birimdir ve İstemci bir JAVA uygulaması olabilir.
- Kaynak Yöneticisi: Bu, Müşteriden tüm İşlerin gönderildiği bir Ana Daemon'dur ve belirli bir İşi yürütmek için tüm Küme seviyesindeki Kaynakları tahsis edendir. Küme üzerindeki her şeyi yönetmesi gereken Ana Makine olduğundan, iyi kalitede donanıma ve iyi yapılandırmaya sahip bir üst düzey makinede çalışır.
- Bağlantı Noktası Sorumlusu : Bu, Slave Makinelerde veya DataNode'da çalışan bir Slave Daemon'dur, bu nedenle her Slave Makinede çalışan bir Node Manager bulunur. Belirli DataNode'un kaynaklarını izler, Resource Manager Küme kaynaklarını yönetir ve Node Manager DataNode kaynaklarını yönetir.
- İş Geçmişi Sunucusu: Küme üzerinde gerçekleştirilen veya Kümeye gönderilen tüm İşlerin kaydını tutan birimdir. Durumu da izler ve ayrıca Hadoop Kümesi üzerinden gerçekleşen her yürütmenin günlük dosyalarını tutar.
- Uygulama Ustası : Düğüm Makinesi, Bağımlı Makine üzerinde çalıştırılan ve bir İşi yürütmek ve yönetmek için Kaynak Yöneticisi tarafından oluşturulan bir bileşendir. Kaynak Yöneticisinden gelen kaynakları müzakere eden ve son olarak görevi yürütmek için Düğüm Yöneticisi ile koordine eden kişidir.
- Konteyner: Kaynak Yöneticisi tarafından tahsis edilen Düğüm Yöneticisi tarafından oluşturulur ve tüm İşler en sonunda Konteyner içinde yürütülür.
İPLİK İş Akışı
Yukarıdaki diyagramda gösterildiği gibi, bir Kaynak Yöneticisi Tüm İşlerin gönderildiği ve Köle Makinelerin bulunduğu bir Küme olduğu ve her Bağımlı Makinede bir Bağlantı Noktası Sorumlusu koşuyor.
Kaynak Yöneticisi iki bileşeni vardır, yani Planlayıcı ve Uygulama Yöneticisi.
Application Master ve Application Manager arasındaki fark nedir?
Uygulama Yöneticisi bir bileşenidir Kaynak Yöneticisi bu, her görevin yürütülmesini ve Uygulama Ustası bunun için yaratılmıştır. Uygulama Ustası, Öte yandan, görevi yürüten ve yürütülmesi gereken tüm kaynakları talep eden kişidir.
İşin şu adrese gönderildiğini varsayalım: Kaynak Yöneticisi , iş gönderilir gönderilmez Planlayıcı İşi planlar. Bir kere Planlayıcı İşi yürütülecek şekilde planlar Uygulama Yöneticisi yaratacak Konteyner birinde Veri Düğümleri ve bunun içinde Konteyner Uygulama Ustası başlayacak.
Bu Uygulama Ustası daha sonra kayıt olacak Kaynak Yöneticisi ve bir talep Konteyner görevi yürütmek için. En kısa sürede Konteyner tahsis edildiğinde Uygulama Ustası şimdi ile bağlanacak Bağlantı Noktası Sorumlusu ve başlatma isteği Konteyner .
Gördüğümüz gibi Uygulama Ustası tahsis edildi Veri Düğümleri D ve DIR-DİR ve şimdi bu Uygulama Ustası istedi Bağlantı Noktası Sorumlusu başlatmak için Konteynerler nın-nin Veri Düğümü D ve Veri Düğümü E .
En kısa sürede Konteynerler başlatıldı, Uygulama Ustası görevi içinde yürütecek Konteyner ve sonuç şu adrese geri gönderilecektir: Müşteri .
Uygulama Akışı
Bunu biraz sıralı bir şekilde anlayalım.
Aşağıdaki diyagramda dört bileşenimiz var. İlki Müşteri, ikincisi Kaynak Yöneticisi üçüncü olan Bağlantı Noktası Sorumlusu ve dördüncü satır şunları içerir Uygulama Ustası .
Öyleyse bu adımların aralarında nasıl yürütüldüğünü görelim.
İlk adım, Müşteri İşi teslim eden Kaynak Yöneticisi ikinci adımda Kaynak Yöneticisi tahsis eder Konteyner Başlamak için Uygulama Ustası üzerinde Köle Makineleri ; üçüncü adım Uygulama Ustası ile kayıt olur Kaynak Yöneticisi .
Kayıt olur olmaz, Konteyner görevi yürütmek, yani dördüncü adım. Beşinci adımda, Uygulama Ustası bildirir Bağlantı Noktası Sorumlusu hangi Konteyner başlatılması gerekiyor.
Altıncı adımda, Bağlantı Noktası Sorumlusu başlattı Konteynerler, Uygulama Ustası kodu bunların içinde çalıştıracak Konteynerler .
Son olarak, yedinci adımda, Müşteri iletişim Kaynak Yöneticisi ya da Uygulama Ustası uygulama durumunu izlemek için.
Sonunda Uygulama Ustası kaydını siler Kaynak Yöneticisi ve sonuç geri verilir Müşteri . Bu, bir MapReduce programının YARN çerçevesi kullanılarak nasıl yürütüldüğüne dair basit bir ardışık akıştır.
Sonuç
Bu eğitimde aşağıdaki noktaları öğrendik:
- İPLİK anlamına geliyor Yine Başka Bir Kaynak Müzakerecisi.
- YARN, Hadoop 2.0'da tanıtıldı
- Kaynak Yöneticisi ve Düğüm Yöneticisi, YARN ile birlikte Hadoop çerçevesine tanıtıldı.
- Client, Resource Manager, Node Manager, Job History Server, Application Master ve Container gibi YARN Bileşenleri.
Gelecek eğitimde, BigData'nın test tekniklerini ve BigData Testing'de karşılaşılan zorlukları tartışacağız. Ayrıca, bu zorlukların nasıl üstesinden gelineceğini ve Büyük Veri Testini kolaylaştırmanın yollarını da öğreneceğiz.
=> BigData'yı Sıfırdan Öğrenmek İçin Burayı Ziyaret Edin.
Önerilen Kaynaklar
- Hadoop nedir? Yeni Başlayanlar İçin Apache Hadoop Eğitimi
- Yeni Başlayanlar İçin 20+ MongoDB Eğitimi: Ücretsiz MongoDB Kursu
- Yeni Başlayanlar İçin Derinlemesine Eclipse Eğiticileri
- Yeni Başlayanlar İçin Python Eğitimi (Uygulamalı ÜCRETSİZ Python Eğitimi)
- Yeni Başlayanlar İçin Büyük Veri Eğitimi | Büyük Veri Nedir?
- Yeni Başlayanlar İçin LoadRunner Eğitimi (Ücretsiz 8 Günlük Kapsamlı Kurs)
- Örneklerle Hadoop MapReduce Eğitimi | MapReduce Nedir?
- En İyi ÜCRETSİZ C # Eğitim Serisi: Yeni Başlayanlar İçin En İyi C # Rehberi