Data Mart Eğitimi - Data Mart Türleri, Örnekleri ve Uygulaması

data mart tutorial types

Bu Öğretici, Data Mart Uygulaması, Türler, Yapının yanı sıra Veri Ambarı ile Data Mart Arasındaki Farkları İçeren Data Mart Kavramlarını Açıklar:

Bunda Eksiksiz Veri Ambarı Eğitim Serisi , çeşitli Veri Ambarı Şemaları detayda.

Bu eğitim, basit örneklerle birlikte Data Mart kavramlarını ayrıntılı olarak öğrenmenize yardımcı olacaktır.

Data mart nedir göreceğiz? Bir veri pazarına ne zaman ihtiyacımız var? Uygun maliyetli veri alışverişi, Bir veri pazarı maliyeti, Veri pazarı türleri, Veri pazarı uygulama adımları, Veri pazarı yapısı, Pilot Veri Mart ne zaman yararlıdır? Datamart dezavantajları ve Data Warehouse ile Data Mart arasındaki farklar.

Hedef kitle

• Veri ambarı / ETL geliştiricileri ve test edicileri.
• Veritabanı kavramları hakkında temel bilgiye sahip veritabanı uzmanları.
• Veri ambarı / ETL kavramlarını anlamak isteyen veritabanı yöneticileri / Büyük veri uzmanları.
• Veri ambarı işleri arayan üniversite mezunları / Freshers.

Ne öğreneceksin:

• Veri Martı Nedir?
  • Data Mart'a Ne Zaman İhtiyacımız Var?
  • Uygun Maliyetli Veri Pazarı
  • Data Mart Maliyeti
• Data Warehouse ile Data Mart Karşılaştırması
• Veri Mart Türleri
  • # 1) Bağımlı Veri Pazarı
  • # 2) Bağımsız Veri Pazarı
  • # 3) Hibrit Veri Pazarı
• Bir Veri Martının Uygulama Adımları
• Veri Martının Yapısı
• Pilot Data Mart Ne Zaman Yararlıdır?
• Data Mart'ın Dezavantajları
• Sonuç
  • Önerilen Kaynaklar

Veri Martı Nedir?

Veri pazarı, veri ambarının temel olarak pazarlama (veya) satış vb. Gibi belirli bir iş alanıyla ilgili küçük bir bölümüdür.

DW sisteminde depolanan veriler çok büyüktür, bu nedenle veri reyonları ayrı departmanlara ait bir veri alt kümesiyle tasarlanmıştır. Böylece belirli bir kullanıcı grubu bu verileri analizleri için kolayca kullanabilir.

Birçok kullanıcı kombinasyonuna sahip bir veri ambarından farklı olarak, her veri pazarı belirli bir son kullanıcı grubuna sahip olacaktır. Daha az sayıda son kullanıcı, daha iyi yanıt süresi sağlar.

Veri reyonlarına iş zekası (BI) araçları da erişebilir. Veri pazarları, yinelenen (veya) kullanılmamış veriler içermez. Düzenli aralıklarla güncellenirler. Konu odaklı ve esnek veritabanlarıdır. Her takım, veri ambarını (veya) diğer veri pazarının verilerini değiştirmeden veri reyonlarını geliştirme ve koruma hakkına sahiptir.

Bir veri pazarı, bir veri ambarı sisteminden çok daha düşük maliyetli olduğu için küçük işletmeler için daha uygundur. Bir veri pazarı oluşturmak için gereken süre, bir veri ambarı oluşturmak için gereken süreden daha azdır.

Çoklu Veri Martlarının resimsel gösterimi:

Data Mart'a Ne Zaman İhtiyacımız Var?

Gereksinime bağlı olarak, paydaşları dahil ederek departmanınız için bir veri pazarı planlayın ve tasarlayın, çünkü data mart'ın operasyonel maliyeti bazen yüksek olabilir.

Bir veri pazarı oluşturmak için aşağıdaki nedenleri göz önünde bulundurun:

• Verileri bir dizi kullanıcı erişim kontrol stratejisiyle bölümlemek istiyorsanız.
• Belirli bir departman, büyük DW verilerini taramak yerine sorgu sonuçlarını çok daha hızlı görmek istiyorsa.
• Bir departman, verilerin diğer donanım (veya) yazılım platformlarında oluşturulmasını istiyorsa.
• Bir departman, verilerin araçlarına uygun şekilde tasarlanmasını istiyorsa.

Uygun Maliyetli Veri Pazarı

Uygun maliyetli bir veri pazarı aşağıdaki adımlarla oluşturulabilir:

• İşlevsel Bölmeleri Tanımlayın: Organizasyon verilerini daha fazla organizasyonel bağımlılık olmadan gereksinimlerini karşılamak için her veri martına (departmana özgü) özel verilere bölün.
• Kullanıcı Erişim Aracı Gereksinimlerini Belirleyin: Pazarda farklı veri yapılarına ihtiyaç duyan farklı kullanıcı erişim araçları olabilir. Veri reyonları, DW verilerini bozmadan tüm bu dahili yapıları desteklemek için kullanılır. Bir data mart, kullanıcının ihtiyaçlarına göre tek bir araçla ilişkilendirilebilir. Veri reyonları da bu tür araçlara günlük olarak güncellenmiş veriler sağlayabilir.
• Erişim Kontrolü Sorunlarını Belirleyin: Bir DW sistemindeki farklı veri segmentlerinin gizliliğe ihtiyacı varsa ve bir dizi yetkili kullanıcı tarafından erişilmesi gerekiyorsa, bu tür verilerin tümü veri reyonlarına taşınabilir.

Data Mart Maliyeti

Veri pazarının maliyeti aşağıdaki gibi tahmin edilebilir:

• Donanım ve Yazılım Maliyeti: Yeni eklenen herhangi bir veri pazarı, son kullanıcıların talep ettiği sorgular üzerinde çalışmak için ekstra donanım, yazılım, işlem gücü, ağ ve disk depolama alanına ihtiyaç duyabilir. Bu, veri alışverişini pahalı bir strateji haline getirir. Dolayısıyla bütçe kesin olarak planlanmalıdır.
• Ağ Girişi: Data mart'ın konumu veri ambarından farklıysa, tüm veriler data mart yükleme işlemiyle aktarılmalıdır. Bu nedenle, pahalı olabilecek büyük hacimli verileri aktarmak için bir ağ sağlanmalıdır.
• Zaman Aralığı Kısıtlamaları: Veri pazarı yükleme işlemi için geçen süre, karmaşıklık ve veri hacimleri, ağ kapasitesi, veri aktarım mekanizmaları vb. Gibi çeşitli faktörlere bağlı olacaktır.

Data Warehouse ile Data Mart Karşılaştırması

Veri Mart Türleri

Veri pazarları, Bağımlı, Bağımsız ve Hibrit olmak üzere üç türe ayrılır. Bu sınıflandırma, bir veri ambarından (veya) diğer veri kaynaklarından nasıl doldurulduklarına dayanmaktadır.

Çıkarma, Dönüştürme ve Taşıma (ETT), data mart'ın verilerini herhangi bir kaynak sistemden doldurmak için kullanılan işlemdir.

Her türe ayrıntılı olarak bakalım !!

# 1) Bağımlı Veri Pazarı

Bağımlı bir veri mağazasında, veriler mevcut veri ambarının kendisinden elde edilir. Bu yukarıdan aşağıya bir yaklaşımdır çünkü yeniden yapılandırılmış verilerin veri mağazasına olan kısmı, merkezi veri ambarından çıkarılır.

Bir veri pazarı, DW verilerini mantıksal veya fiziksel olarak aşağıda gösterildiği gibi kullanabilir:

• Mantıksal Görünüm: Bu senaryoda, data mart'ın verileri fiziksel olarak DW'den ayrı değildir. DW verilerini mantıksal olarak sanal görünümler (veya) tablolar aracılığıyla ifade eder.
• Fiziksel alt küme: Bu senaryoda, data mart'ın verileri fiziksel olarak DW'den ayrılmıştır.

Bir veya daha fazla veri reyonu geliştirildikten sonra, kullanıcıların yalnızca veri pazarlarına erişmesine (veya) hem Veri pazarlarına hem de Veri ambarlarına erişmesine izin verebilirsiniz.

Kullanılabilir veriler zaten merkezi DW'de mevcut olduğundan, ETT, bağımlı veri reyonlarında basitleştirilmiş bir işlemdir. Doğru özetlenmiş veri seti sadece ilgili veri reyonlarına taşınmalıdır.

Bağımlı Veri Martının bir Görüntüsü aşağıda gösterilmiştir :

# 2) Bağımsız Veri Pazarı

Bağımsız bir veri pazarı, bir organizasyondaki küçük departmanlar için en uygun olanıdır. Burada veriler mevcut veri ambarından alınmaz. Bağımsız veri pazarı, kurumsal DW'ye veya diğer veri pazarlarına bağımlı değildir.

Bağımsız veri reyonları, verilerin harici (veya) dahili veri kaynaklarından çıkarıldığı, dönüştürüldüğü ve yüklendiği bağımsız sistemlerdir. Basit departman bazlı iş ihtiyaçlarını destekleyene kadar bunların tasarlanması ve bakımı kolaydır.

Verilerin merkezi DW'ye nasıl işlendiğine benzer şekilde, bağımsız veri reyonları olması durumunda ETT sürecinin her aşamasıyla çalışmanız gerekir. Bununla birlikte, kaynakların sayısı ve veri pazarlarına doldurulan veriler daha az olabilir.

Bağımsız Veri Martının resimsel temsili :

# 3) Hibrit Veri Pazarı

Bir hibrit veri mağazasında, veriler hem DW hem de diğer işletim sistemlerinden entegre edilir. Hibrit veri reyonları, geniş depolama yapılarıyla esnektir. Diğer veri pazarlarına da başvurabilir.

Bir Hibrit Veri Martının resimsel gösterimi:

Bir Veri Martının Uygulama Adımları

Biraz karmaşık olduğu düşünülen Data Mart'ın uygulaması aşağıdaki adımlarda açıklanmıştır:

• Tasarım: İş kullanıcıları bir veri pazarı talep ettikleri için, tasarım aşaması gereksinimlerin toplanmasını, ilgili veri kaynaklarından uygun verilerin oluşturulmasını, mantıksal ve fiziksel veri yapılarının ve ER diyagramlarının oluşturulmasını içerir.
• İnşaat: Ekip, data mart sistemindeki tüm tabloları, görünümleri, dizinleri vb. Tasarlayacaktır.
• Doldurma: Veriler, meta verilerle birlikte çıkarılacak, dönüştürülecek ve veri pazarına yüklenecektir.
• Erişim: Data Mart verilerine son kullanıcılar tarafından erişilebilir. Analizleri ve raporları için verileri sorgulayabilirler.
• Yönetme: Bu, kullanıcı erişim kontrolleri, veri pazarı performansına ince ayar yapma, mevcut veri reyonlarını koruma ve sistemin arızalanması durumunda veri pazarı kurtarma senaryoları oluşturma gibi çeşitli yönetim görevlerini içerir.

Veri Martının Yapısı

Her veri pazarının yapısı ihtiyaca göre oluşturulur. Data Mart yapılarına Yıldız birleşimleri denir. Bu yapı, bir veri mağazasından diğerine farklılık gösterecektir.

Yıldız birleşimleri, büyük miktarda veriyi desteklemek için olgu ve boyut tablolarıyla oluşturulan çok boyutlu yapılardır. Yıldız birleştirme, ortada boyut tablolarıyla çevrili bir olgu tablosuna sahip olacaktır.

İlgili olgu tablosu verileri, bir yabancı anahtar referansıyla boyut tabloları verileriyle ilişkilendirilir. Bir olgu tablosu 20-30 boyut tablosu ile çevrilebilir.

DW sistemine benzer şekilde, yıldız birleşimlerinde de olgu tabloları yalnızca sayısal verileri içerir ve ilgili metin verileri boyut tablolarında açıklanabilir. Bu yapı DW'deki bir yıldız şemasını andırıyor.

Bir Yıldız Birleştirme Yapısının resimsel temsili.

Ancak, merkezi DW'den alınan ayrıntılı veriler, herhangi bir data market'in verilerinin temelini oluşturur. Normalize edilmiş DW verisi üzerinde, küpler şeklinde saklanan çok boyutlu veri marts verilerine dönüştürmek için birçok hesaplama yapılacaktır.

Bu, eski kaynak sistemlerden gelen verilerin normalleştirilmiş DW verilerine nasıl dönüştürüldüğüne benzer şekilde çalışır.

Pilot Data Mart Ne Zaman Yararlıdır?

Bir pilot, tam teşekküllü dağıtımdan önce dağıtımın başarılı olup olmadığından emin olmak için sınırlı sayıda kullanıcıya sahip küçük bir ortamda konuşlandırılabilir. Ancak bu her zaman gerekli değildir. Pilot konuşlandırmalar, amaç karşılandıktan sonra bir işe yaramayacaktır.

Pilot dağıtım için önerilen aşağıdaki senaryoları göz önünde bulundurmanız gerekir:

• Son kullanıcılar Veri ambarı sistemine yeniyse.
• Son kullanıcılar üretime geçmeden önce verileri / raporları kendileri almak konusunda rahat hissetmek isterlerse.
• Son kullanıcılar en son araçlarla (veya) teknolojilerle pratik yapmak istiyorsa.
• Yönetim, büyük bir sürüm yapmadan önce faydaları bir kavram kanıtı olarak görmek istiyorsa.
• Ekip, tüm ETL bileşenlerinin (veya) altyapı bileşenlerinin piyasaya sürülmeden önce iyi çalıştığından emin olmak istiyorsa.

Data Mart'ın Dezavantajları

Veri pazarlarının DW'ye göre bazı avantajları olsa da, aşağıda açıklandığı gibi bazı dezavantajları da vardır:

• Oluşturulan istenmeyen veri pazarlarının bakımı zordur.
• Veri reyonları küçük işletmelerin ihtiyaçlarına yöneliktir. Veri pazarlarının boyutunu artırmak, performansını düşürecektir.
• Daha fazla sayıda veri reyonu oluşturuyorsanız, yönetim bunların sürümlerini, güvenliğini ve performanslarını uygun şekilde dikkate almalıdır.
• Veri reyonları geçmiş (veya) özetlenmiş (veya) ayrıntılı veriler içerebilir. Ancak, veri tutarsızlığı sorunları nedeniyle DW verileri ve veri pazarı verilerinde güncellemeler aynı anda gerçekleşmeyebilir.

Sonuç

Birçok kuruluş, maliyet tasarrufu sağlayan bir bakış açısıyla veri pazarlarına yöneliyor. Bu nedenle, bu eğitim, veri ambarı sistemindeki veri pazarlarının teknik yönlerine odaklanmıştır.

ETL'deki meta veriler, yakında yayınlanacak eğitimimizde ayrıntılı olarak açıklanmaktadır.

=> Herkes İçin Veri Ambarlama Eğitim Serisini Görmek İçin Burayı Ziyaret Edin.

Önerilen Kaynaklar

• Örneklerle Veri Ambarı Test Eğitimi | ETL Test Kılavuzu
• Python Veri Türleri
• C ++ Veri Türleri
• Veri Ambarında Boyutlu Veri Modeli - Örneklerle Eğitim
• Veri Madenciliğinde Apriori Algoritması: Örneklerle Uygulama
• Veri Madenciliği Örnekleri: Veri Madenciliğinin En Yaygın Uygulamaları 2021
• Veri Ambarlamanın Temelleri: Örneklerle Son Bir Kılavuz
• Hacim Testi Eğitimi: Örnekler ve Hacim Testi Araçları