Veri Gölü Nedir | Veri Ambarı vs Data Lake

what is data lake data warehouse vs data lake

Bu Öğretici, Data Lake ile Veri Ambarı Arasındaki İhtiyacı, Tanımı, Mimarisi, Yararları ve Farkları dahil olmak üzere Data Lake hakkında her şeyi açıklar:

'Veri Gölü' terimi günümüzün BT dünyasında oldukça sık kullanılmaktadır. Hiç ne olduğunu ve terimin tam olarak nereden geldiğini merak ettiniz mi?

Verilerin gece gündüz çeşitli biçimlerde çoğaldığı bilgi teknolojisi çağında, veri gölü kavramı kesinlikle önemli ve kullanışlı hale geliyor.

Veri gölünün ne olduğunu ve faydalarını, kullanımlarını vb. Burada ayrıntılı olarak inceleyelim.

Ne öğreneceksin:

• Veri Gölü Nedir ve Nasıl Çalışır?
  • Veri Gölü Analojisi
  • Data Lake Pazarı - Büyüme, Trendler ve Tahminler
    • # 1) Pazar Özeti
    • # 2) Büyük Oyuncular
    • # 3) Temel Trendler
  • Data Lake Neden Gereklidir?
  • Veri Ambarı ile Veri Gölü Arasındaki Fark
  • Data Lake Mimarisi
  • Data Lake'in Temel Özellikleri
  • Faydaları
  • Zorluklar ve Riskler
  • Uygulama
  • Data Lake Satıcıları
• Sonuç
  • Önerilen Kaynaklar

Veri Gölü Nedir ve Nasıl Çalışır?

Veri gölü, tüm yapılandırılmış, yarı yapılandırılmış, yapılandırılmamış ve ikili verilerinizi doğal / yerel / ham biçiminde depolamanıza olanak tanıyan bir sistem veya merkezi veri havuzudur.

Yapılandırılmış veriler RDBMS'lerden tablolar içerebilir; yarı yapılandırılmış veriler arasında CSV dosyaları, XML dosyaları, günlükler, JSON vb .; yapılandırılmamış veriler PDF'leri, kelime belgelerini, metin dosyalarını, e-postaları vb. içerebilir; ve ikili veriler ses, video, görüntü dosyalarını içerebilir.

Verileri depolamak için düz bir mimari izler. Veriler genellikle nesne blobları veya dosyaları biçiminde depolanır.

(resim kaynak )

Bir veri gölü ile, tüm kuruluşunuzu olduğu gibi tek bir yerde, verileri yapılandırmanıza gerek kalmadan depolayabilirsiniz. Makine öğrenimi, gerçek zamanlı analitik, şirket içi veri hareketi, gerçek zamanlı veri hareketi, gösterge tabloları ve görselleştirmeler dahil olmak üzere çeşitli analiz türlerini doğrudan yürütebilirsiniz.

İçindeki tüm verileri orijinal biçimde tutar ve analizin daha sonra talep üzerine yapılacağını varsayar.

Veri Gölü Analojisi

(resim kaynak )

Data Lake terimi, o zamanlar Pentaho'da CTO olan James Dixon tarafından icat edildi. Data mart'ı (bir veri ambarının bir alt kümesi) temizlenmiş, damıtılmış suyla doldurulmuş, paketlenmiş ve doğrudan ve kolay kullanım için yapılandırılmış bir su şişesine benzer olarak tanımlar.

Öte yandan, doğal haliyle bir su kütlesine benzer. Veri akışlardan (çeşitli iş fonksiyonları / kaynak sistemleri) göle doğru akar. Veri gölü tüketicileri, yani kullanıcılar, numuneleri analiz etmek, incelemek, toplamak ve dalmak için göle erişebilir.

Tıpkı göldeki suyun balık tutma, kayıkla gezme, içme suyu sağlama vb. Gibi insanların farklı ihtiyaçlarını karşılaması gibi, veri gölü mimarisi de aynı şekilde birden çok amaca hizmet ediyor.

sıralama uygulaması birleştirme c ++

Bir veri bilimcisi, verileri keşfetmek ve bir hipotez oluşturmak için bunu kullanabilir. Veri analistlerine verileri analiz etme ve kalıpları keşfetme fırsatı sunar. Verileri keşfetmeleri için iş kullanıcıları ve paydaşlara bir mod sağlar.

Ayrıca, analistlere rapor tasarlama ve bunları işletmeye sunma fırsatı sunar. Aksine veri ambarı, sadece içme suyu için kullanılabilen bir bisleri şişesi gibi, iyi tanımlanmış amaçlar için paketlenmiş verilere sahiptir.

Data Lake Pazarı - Büyüme, Trendler ve Tahminler

Veri gölü pazarı, ürün (çözüm veya hizmet), dağıtım (şirket içi veya bulut), müşterilerin sektörü (Perakende, bankacılık, hizmet, sigorta, BT, Sağlık Hizmetleri, Telekom, Yayıncılık, Üretim) ve coğrafi konum temelinde bölünmüştür. bölgeler.

Mordor Intelligence tarafından yayınlanan rapora göre, Veri gölü için piyasa anlık görüntüsü aşağıdadır:

(resim kaynak )

# 1) Pazar Özeti

Data Lakes Pazarı 2019'da 3,74 milyar ABD doları olarak değerlendirildi ve 2020-2025 projeksiyon dönemi boyunca% 29,9'luk bir CAGR (Bileşik Yıllık Büyüme Oranı) ile 2025 yılına kadar 17.60 milyar ABD dolarına ulaşması bekleniyor.

Bu veri rezervuarları, birçok kuruluş için veri ambarları üzerinden ekonomik bir seçenek olarak giderek daha fazla öne çıkıyor. Veri depolama, veri göllerinin aksine, ambara girmeden önce ek verilerin işlenmesini gerektirir.

Bir veri gölünü yönetme maliyeti, ambarlar için veri tabanı oluşturmak için çok fazla işlem ve alan gerektiğinden bir veri ambarına kıyasla daha azdır.

# 2) Büyük Oyuncular

Data Lake pazarının aşağıdaki resimde görüldüğü gibi beş ana oyuncunun hakim olduğu konsolide bir pazar olacağı tahmin edilmektedir.

# 3) Temel Trendler

• Bankacılık sektöründe kullanımının önemli ölçüde artması bekleniyor. Bankalar, hareket halindeyken analitik sağlamak için veri göllerini benimsiyor. Ayrıca bankacılık sektöründeki birçok silonun çözülmesine yardımcı oluyor.
• Dünya genelinde dijital ödemelerde / mobil cüzdan kullanımında büyük bir artış olduğu için, büyük veri analitiğinin kapsamı ve dolayısıyla bunlar için fırsat artmaktadır.
• Kuzey Amerika'nın veri gölleri için yüksek oranda benimsenmesi bekleniyor. Capgemini tarafından yapılan bir araştırma, ABD'deki finans kuruluşlarının% 60'ından fazlasının büyük veri analitiğinin işletmeler için farklı bir faktör olduğunu ve onlara rekabet avantajı sağladığını düşündüğünü söylüyor. Kuruluşların% 90'ından fazlası, büyük veri projelerine yatırım yapmanın gelecekte başarı şansını artırdığını düşünüyor.
• Akıllı sayaç uygulamalarının kullanımı için gereklidir ve ABD'de 2021 yılında yaklaşık 90 milyon akıllı sayacın kurulması beklenmektedir. Dolayısıyla, bunlara yönelik öngörülen yüksek bir talep vardır.

Data Lake Neden Gereklidir?

Bir veri gölünün amacı, verilerin işlenmemiş bir görünümünü vermektir (veriler en saf haliyle).

Örnekler

Günümüzde Google, Amazon, Cloudera, Oracle, Microsoft gibi birçok büyük şirketin veri gölü teklifleri var.

Birçok kuruluş, Azure Data Lake veya Amazon S3 gibi bulut depolama hizmetlerini kullanıyor. Şirketler ayrıca Apache Hadoop gibi dağıtılmış bir dosya sistemi kullanıyor. Kendi büyük verilerinizi yönetmenize ve paylaşmanıza izin veren kişisel veri gölü kavramı da gelişti.

Endüstriyel kullanımlardan bahsedecek olursak, o zaman sağlık alanı için çok uygundur. Sağlık hizmetlerinde çok sayıda verinin yapılandırılmamış biçimi nedeniyle ( Örneğin, Doktor notları, klinik veriler, hasta hastalık geçmişi, vb.) Ve gerçek zamanlı içgörüler için gereksinim, bir veri gölü, veri ambarı yerine harika bir seçenektir.

Verilerin çok geniş ve çok ham olduğu eğitim sektöründe de esnek çözümler sunar.

Ulaşım sektöründe, ağırlıklı olarak tedarik zinciri yönetimi veya lojistik alanlarında, tahminlerde bulunmaya ve maliyet düşürücü faydaları gerçekleştirmeye yardımcı olur.

Havacılık ve Elektrik enerjisi endüstrileri de veri göllerini kullanıyor.

Uygulamanın bir örneği, endüstriyel varlıklara bağlanan, verileri toplayan ve analiz eden ve gerçek zamanlı sağlayan endüstriyel uygulamaları oluşturmak, dağıtmak ve yönetmek için güçlü veri yönetişimi yetkinlikleri sunan endüstriyel bir veri gölü platformu olan GE Predix'tir (General Electric tarafından geliştirilmiştir). endüstriyel altyapıyı ve süreçleri iyileştirmeye yönelik bilgiler.

Veri Ambarı ile Veri Gölü Arasındaki Fark

Çoğu zaman insanlar bir gölün veri ambarından ne kadar farklı olduğunu anlamakta zorlanır. Ayrıca veri ambarı ile aynı olduğunu savunuyorlar. Ama bu gerçek değil.

Veri gölü ile veri ambarı arasındaki tek ortak nokta, her ikisinin de veri depolama havuzları olmasıdır. Dinlen, farklılar. Farklı kullanım durumları ve amaçları vardır.

Farklılıklar aşağıda açıklanmıştır:

Data Lake Mimarisi

Mimari diyagram

Veri gölünün kavramsal mimari diyagramı yukarıda verilmiştir. En sol tarafta, yapılandırılmış, yarı yapılandırılmış veya yapılandırılmamış veri kaynaklarına sahip olduğumuzu görebilirsiniz.

Bu veri kaynakları, verileri ham formunda, yani herhangi bir dönüştürme olmaksızın veri kullanan bir ham veri deposunda birleştirilir. Bu düşük maliyetli, kalıcı ve ölçeklenebilir depolamadır.

bilgisayarı temizlemek için en iyi yazılım

Daha sonra, veri keşfi, keşifsel veri analizi ve tahmine dayalı modelleme için kullanılabilecek analitik sanal alanlarımız var. Temel olarak bu, veri bilimcileri tarafından verileri keşfetmek, yeni hipotez oluşturmak ve kullanım durumlarını tanımlamak için kullanılır.

Daha sonra, ham verileri tüketici tarafından kullanılabilir forma, yani son kullanıcılara raporlama için kullanılabilecek yapılandırılmış bir formatta işleyen bir toplu işleme motoru vardır.

Ardından, akış verilerinde alınan ve onu dönüştüren gerçek zamanlı bir işleme motorumuz var.

Data Lake'in Temel Özellikleri

Data Lake olarak sınıflandırılmak için, bir büyük veri havuzunun aşağıdaki üç özelliğe sahip olması gerekir:

# 1) Genellikle bir Dağıtılmış Dosya Sistemi (DFS) içinde barındırılan tek bir ortak veri deposu.

Hadoop veri gölleri, verileri yerel biçiminde korur ve veri yaşam döngüsü sırasında verilerdeki ve göreceli anlamdaki değişiklikleri yakalar. Bu yaklaşım özellikle uygunluk kontrolleri ve iç denetimler için faydalıdır.

Bu, verilerin dönüşümler, toplamalar ve modifikasyonlardan geçtiğinde, gerektiğinde verileri bir bütün olarak yerleştirmenin zor olduğu ve şirketlerin verilerin kaynağını / kökenini bulmaya çalıştığı geleneksel Kurumsal Veri Ambarı'nın üzerinde bir iyileştirmedir.

# 2) Planlama ve iş planlama yeteneklerini birleştirir (Örneğin, YARN gibi herhangi bir zamanlayıcı aracı aracılığıyla).

İş yükü yürütme, kurumsal Hadoop için temel bir ihtiyaçtır ve YARN, sürekli süreçler sağlamak için kaynak yönetimi ve merkezi bir platform sunar, güvenlik ve Hadoop kümelerinde veri yönetişim araçları, analitik iş akışlarının gerekli veri erişimi ve bilgi işlem gücüne sahip olmasını sağlar.

# 3) Verileri tüketmek, işlemek veya bunlarla çalışmak için gereken yardımcı programları ve işlevleri içerir.

Kullanıcılar için kolay ve hızlı erişilebilirlik, kuruluşların verileri doğal veya saf biçiminde depolaması nedeniyle bir veri gölünün temel özelliklerinden biridir.

Veriler hangi biçimde, yani yapılandırılmış, yapılandırılmamış veya yarı yapılandırılmış olursa olsun, veri gölünde olduğu gibi eklenir. Veri sahiplerinin, veri paylaşımının önündeki her türlü teknik veya politik engelleri ortadan kaldırarak müşteri, tedarikçi ve operasyon verilerini birleştirmelerine olanak tanır.

Faydaları

(resim kaynak )

• Çok yönlü : CRM verilerinden sosyal ağ etkinliklerine kadar her türlü yapılandırılmış / yapılandırılmamış veriyi depolayacak yetkinliğe sahip.
• Daha Fazla Şema Esnekliği : Planlamaya veya önceden veri analizi bilgisine ihtiyaç duymaz. Tüm verileri olduğu gibi orijinal biçimde depolar ve analizin daha sonra talep üzerine yapılacağını varsayar. Bu OLAP için çok kullanışlıdır. Örneğin, Hadoop veri gölü, şemayı verilerden ayırabileceğiniz şema içermemenizi sağlar.
• Gerçek Zamanlı Karar Analizi : Gerçek zamanlı karar analitiğine ulaşmak için büyük miktarda tutarlı veri ve derin öğrenme algoritmalarından yararlanırlar. Sınırsız veri türlerinden değer elde edebilme.
• Ölçeklenebilir: Geleneksel veri ambarlarından çok daha ölçeklenebilirler ve ayrıca daha az maliyetlidirler.
• Gelişmiş Analiz / SQL ve Diğer Dillerle Uyumluluk: Veri göllerinde, verileri sorgulamanın çok sayıda yolu vardır. Basit analitik için yalnızca SQL'i destekleyen geleneksel veri ambarlarının aksine, verileri analiz etmek için size birçok başka seçenek ve dil desteği sunarlar. Spark MLlib gibi makine öğrenimi araçlarıyla da uyumludur.
• Verileri Demokratikleştirin: Etkili bir veri yönetimi platformu kullanırken, tüm organizasyon genelinde tek bir entegre veri görünümü aracılığıyla verilere demokratikleştirilmiş erişim. Bu, verilerin her yönden kullanılabilirliğini sağlar.
• Daha İyi Veri Kalitesi: Genel olarak, yerel formatta veri depolama, ölçeklenebilirlik, çok yönlülük, şema esnekliği, SQL ve diğer diller desteği ve gelişmiş analitik gibi teknolojik avantajlarla veri gölleriyle daha iyi kalitede veriler elde edersiniz.

Zorluklar ve Riskler

Veri gölleri birçok avantaj sunar. Ancak evet, bir kuruluşun dikkatle ele alması gereken, bunlarla ilişkili birkaç zorluk ve risk de vardır.

Onlar:

• Düzgün tasarlanmazlarsa veri bataklığına dönüşebilirler. Bazen kuruluşlar, akıllarında herhangi bir strateji ve amaç olmadan bu göllere sınırsız veri atmaya devam ediyor.
• Veri göllerinde madencilik yapmak oldukça zor olduğundan, zaman zaman verileri kullanmak isteyen analistlerin bunu nasıl yapacakları hakkında hiçbir bilgisi yoktur. Böylece, bir süre sonra alaka düzeyini ve ivmeyi kaybederler. Kuruluşların, analistlerin önündeki bu engeli kaldırmaya çalışması gerekiyor.
• Veri göllerinde çok sayıda düzensiz veri bulunduğundan, üretimde kullanılacak kadar taze veya güncel değildir. Dolayısıyla bu göllerdeki veriler pilot modda kalır ve hiçbir zaman üretime alınmaz.
• Yapılandırılmamış veriler, kullanılamaz verilere yol açabilir.
• Bazen kuruluşlar, yapılan yatırımlarla ilgili olarak iş üzerinde önemli bir etki yapmadığını deneyimlemektedir. Bu, zihniyette bir değişiklik gerektirir. Etkilerin ortaya çıkması için, şirketlerin yöneticileri ve liderleri bu veri rezervuarlarından elde edilen analitiğe dayalı kararlar almaya teşvik etmesi gerekir.
• Güvenlik ve erişim kontrolü de onlarla çalışırken risklerden biridir. Gizlilik ve düzenlemelere sahip olabilecek verilerin bir kısmı, herhangi bir gözetim olmaksızın veri göllerine yerleştirilir.

Uygulama

Bir işletmede veri gölü uygulamasını çevik bir şekilde yapmak oldukça mantıklıdır.

Yani, ilk önce bir Veri Gölü MVP'sini uygulamak, kullanıcılar tarafından kalite, erişim kolaylığı, depolama ve analitik yetenekler açısından test edilmesini sağlar, geri bildirimler alır ve ardından Göle değer katmak için karmaşık gereksinimleri ve özellikleri ekler.

Genel olarak, bir kuruluş, uygulamanın aşağıdaki dört temel aşamasından geçer:

(resim kaynak )

1. Aşama:

Temel Veri Gölü: Bu aşamada ekip, veri gölü için temel mimari, teknoloji (bulut tabanlı veya eski) ve güvenlik ve yönetim uygulamalarına yerleşir. Çeşitli kurumsal kaynaklardan gelen tüm ham verileri depolayabilen ve zenginleştirilmiş bilgiler sunmak için dahili ve harici verileri birleştirebilen hale getirilmiştir.

2. aşama:

Sandbox: Analitik Yetenek Geliştirme: Bu aşamada, veri bilimcileri ham verileri kullanmak için ön deneyler yapmak ve iş ihtiyaçlarını karşılamak için analitik modeller tasarlamak için veri rezervuarına erişirler.

Sahne 3:

Java'da bir dizi nasıl yapılır

Veri Ambarları ve Veri Gölü İşbirliği: Bu aşamada kuruluş, mevcut veri ambarları ile sinerji içinde veri gölünü kullanmaya başlar. Veri ambarlarının depolama sınırı aşılmaması için düşük öncelikli veriler onlara gönderilir.

Soğuk verilerden içgörüler üretme veya geleneksel veritabanları tarafından indekslenmeyen bilgileri keşfetmek için sorgulama olasılığı sunar.

4. Aşama:

Data Lake'in uçtan uca benimsenmesi: Bu, kuruluşun veri mimarisinin önemli bir unsuruna dönüştüğü ve etkin bir şekilde doğrudan arama operasyonuna dönüştüğü son ve olgunluk edinme aşamasıdır. Bu zamana kadar, veri gölü EDW'nin yerini almış olacak ve bunlar tüm kurumsal verilerin tek kaynağı olacaktı.

Bir kuruluş, veri gölü aracılığıyla aşağıdakileri yapabilir:

• Farklı iş ihtiyaçları için karmaşık veri modelleme ve analitik çözümleri oluşturun.
• Veri gölünün yanı sıra çeşitli uygulama ve veri kaynaklarından gelen kavrayışları birleştiren etkileşimli panolar tasarlayın.
• Hesaplama işlemlerini yönettiği için gelişmiş analitik veya robotik programları uygulayın.

Bu noktada, güçlü bir güvenlik ve yönetim önlemlerine de sahip.

Data Lake Satıcıları

Sektörde veri gölü araçları sağlayan farklı satıcılar vardır.

(resim kaynak )

Büyük şirketlere bakarsak:

• Bilgi işlem akıllı bir veri gölü aracı sağlıyor. BDM (Büyük Veri Yönetimi) 10.2.2, mevcut en son sürümdür.
• Adında bir satıcı var seyirci aracı da sağlayan.
• Şirket Talend ETL araçlarıyla popüler olan bu araç aynı zamanda Data Lake aracını da sağlar.
• Ardından, adında açık kaynaklı bir aracımız var Kylo -den Teradata şirket. Teradata şirketindeki 'Think Big' ekibi bu aracı geliştirdi.
• Şirket Cask Verileri Inc ayrıca bu hizmetleri de vermektedir.
• Nereden Microsoft , Bulabilirsin Azure veri gölü endüstride mevcuttur.
• Hvr yazılımı ayrıca veri gölü konsolidasyon çözümleri sağlar.
• Podyum verileri, Bir Qlik şirketi, veri gölü boru hatları, çok bölgeli veri gölü gibi araç ürünleri sağlıyor.
• kar tanesi ayrıca bir data lake ürününe sahiptir.
• Zaloni Büyük Veri kullanarak büyük verileri işleyen bir veri gölü şirketidir.

Dolayısıyla, bunların hepsi popüler servis sağlayıcıları ve bu tür araçlar için satıcılardır.

Veri gölleri hakkında pratik yapmak ve bilginizi geliştirmek istiyorsanız, Informatica veya Kylo'ya gidebilirsiniz. Bulut tabanlı bir hizmet arıyorsanız, Looker, Informatica ve Talend'i tercih edebilirsiniz. Bu üç tedarikçi, AWS bulut veri gölleri sağlıyor. Ayrıca Kylo'dan 1 aylık ücretsiz deneme de alabilirsiniz.

Sonuç

Bu eğitimde, veri gölü kavramını ayrıntılı olarak tartıştık. Veri gölünün arkasındaki temel fikri, mimarisini, temel özelliklerini, faydalarını, örnekleri, kullanım durumlarını vb. İnceledik.

Ayrıca bir veri gölünün veri ambarından ne kadar farklı olduğunu da gördük. Ayrıca, ilgili hizmetleri sağlayan en iyi satıcıları da ele aldık.

Mutlu Okumalar !!

Önerilen Kaynaklar

• Örneklerle Veri Ambarı Test Eğitimi | ETL Test Kılavuzu
• SEO için En İyi 10 Yapılandırılmış Veri Test ve Doğrulama Aracı
• Veri Madenciliği: Veri Analizinde Süreç, Teknikler ve Başlıca Sorunlar
• Data Mart Eğitimi - Data Mart Türleri, Örnekleri ve Uygulaması
• En Popüler 10 Veri Ambarı Araçları ve Test Teknolojileri
• Veri Ambarında Boyutlu Veri Modeli - Örneklerle Eğitim
• Veri Toplama Stratejileri ile 10'dan Fazla En İyi Veri Toplama Aracı
• IBM Rational Quality Manager for Test Data Management'taki Veri Havuzu Özelliği