Menü

Veri Ambarlamanın Temelleri: Örneklerle Son Bir Kılavuz

  • Ana
  • Diğer
  • Veri Ambarlamanın Temelleri: Örneklerle Son Bir Kılavuz

data warehousing fundamentals

Sorunları Ortadan Kaldırmak Için Enstrümanımızı Deneyin

Veri Ambarı Temelleri Hakkında Her Şeyi Öğrenin. Bu Kapsamlı Kılavuz, Türleri, Özellikleri, Yararları ve Yararları ile birlikte Veri Ambarlamanın Ne Olduğunu Açıklar:

Bir veri ambarı, günümüzün BT endüstrisindeki en son depolama trendidir.

Bu eğitimde Veri Ambarı nedir? Veri Ambarlama neden çok önemlidir? Veri Ambarı uygulama türleri, Veri Ambarının Özellikleri, Veri Ambarının Yararları ve Dezavantajları.

Veri Ambarlamanın Temelleri

Bu Serideki Veri Ambarlama Eğitimlerinin Listesi:

Öğretici 1: Veri Ambarlamanın Temelleri
Öğretici # 2: Veri Ambarı'nda ETL Süreci nedir?
Öğretici 3: Veri Ambarı Testi
Eğitim 4: Veri Ambarında Boyutsal Veri Modeli
Öğretici 5: Veri Ambarı Modellemesinde Şema Türleri
Öğretici # 6: Data Mart Eğitimi
Eğitim 7: ETL'deki meta veriler

Bu Veri Ambarlama Serisindeki Öğreticilere Genel Bakış

Tutorial_NumNe öğreneceksin
Öğretici # 7 ETL'deki meta veriler

Bu eğitimde ETL'de Meta Verinin Rolü, Meta Veri Örnekleri ve Türleri, Meta Veri Deposu ve Meta Veri Yönetimindeki Zorluklar açıklanmaktadır.
Öğretici # 1 Veri Ambarlamanın Temelleri

Bu eğiticiden Veri Ambarlama Kavramları hakkında her şeyi öğrenin. Bu Kapsamlı kılavuz, Veri Ambarlamanın Türleri, Özellikleri, Yararları ve Önemleri ile Ne Olduğunu açıklar.
Öğretici # 2 Veri Ambarı'nda ETL Süreci nedir?

ETL Süreci hakkındaki bu derinlemesine eğitici, Veri Ambarındaki ETL (Çıkarma, Dönüştürme ve Yükleme) Sürecinde Yer Alan Süreç Akışını ve Adımları açıklar.
Öğretici # 3 Veri Ambarı Testi

Veri Ambarı Testinin Hedefleri ve Önemi, ETL Test Sorumlulukları, DW ve ETL Dağıtımındaki Hatalar bu eğiticide ayrıntılı olarak.
Öğretici # 4 Veri Ambarında Boyutsal Veri Modeli

Bu eğitici, Veri Ambarı'ndaki Boyutsal Veri Modelinin Yararlarını ve Efsanelerini açıklar. Ayrıca, Boyut Tabloları ve Örneklerle Gerçek Tablolar hakkında bilgi edineceksiniz.
Öğretici # 5 Veri Ambarı Modellemesinde Şema Türleri

Bu eğitici, çeşitli Veri Ambarı Şema Türlerini açıklar. Star Schema & Snowflake Schema nedir ve Star & Snowflake Schema arasındaki farkı öğrenin.
Eğitim # 6 Data Mart Eğitimi

Bu eğitici, Data Mart Uygulaması, Türler, Yapının yanı sıra Veri Ambarı ile Data Mart Arasındaki Farklar dahil olmak üzere Data Mart Kavramlarını açıklar.

Ne öğreneceksin:

Veri Ambarlamanın Temelleri: Eksiksiz Bir Kılavuz

Hedef kitle

  • Veri ambarı / ETL geliştiricileri ve test edicileri.
  • Veritabanı kavramları hakkında temel bilgiye sahip veritabanı uzmanları.
  • Veri ambarı kavramlarını anlamak isteyen veritabanı yöneticileri / Büyük veri uzmanları.
  • Veri ambarı işleri arayan üniversite mezunları / Freshers.

Veri Ambarlama Nedir?

Veri Ambarı (DW), büyük miktarda organize verinin bulunduğu bir havuzdur. Bu veriler, bir veya daha fazla farklı veri kaynağından birleştirilir. DW, esas olarak kuruluşlarda analitik raporlama ve zamanında karar verme için tasarlanmış ilişkisel bir veritabanıdır.

Bu amaç için veriler, ana iş üzerinde herhangi bir etkisi olmayacak kaynak işlem verilerinden izole edilir ve optimize edilir. Bir kuruluş herhangi bir iş değişikliği getirirse, bu değişikliğin etkilerini incelemek için DW kullanılır ve bu nedenle DW, karar verme dışı süreci izlemek için de kullanılır.

Veri deposu

Veri ambarı çoğunlukla salt okunur bir sistemdir çünkü operasyonel veriler DW'den çok farklıdır. Bu, iyi bir sorgu yazımı ile en yüksek miktarda veriyi almak için bir ortam sağlar.

Böylece DW, iş kullanıcıları için raporları, gösterge panolarını gösteren İş Zekası araçları için arka uç motoru olarak hareket edecektir. DW, bankacılık, finans, perakende sektörlerinde vb. Yaygın olarak kullanılmaktadır.

Veri Ambarlama Neden Önemlidir?

Veri Ambarı'nın çok önemli olmasının nedenlerinden bazıları aşağıda listelenmiştir.

  1. Veri ambarı, çeşitli 'farklı biçimlerdeki' heterojen kaynaklardan tüm operasyonel verileri toplar ve ayıklama, dönüştürme ve yükleme (ETL) süreci aracılığıyla verileri bir kuruluş genelinde 'standartlaştırılmış boyutsal bir biçimde' DW'ye yükler.
  2. Veri ambarı, analitik raporlama ve gerçeklere dayalı karar verme için hem 'güncel verileri hem de geçmiş verileri' korur.
  3. Performanslarını iyileştirmek için çeyrek ve yıllık raporları karşılaştırarak kuruluşların maliyetleri düşürme ve geliri artırma konusunda 'daha akıllı ve hızlı kararlar' almalarına yardımcı olur.

Veri Ambarı Uygulama Türleri

İş Zekası (BI), karar vermek için tasarlanmış bir veri ambarı dalıdır. DW'deki veriler yüklendikten sonra, BI verileri analiz ederek ve iş kullanıcılarına sunarak önemli bir rol oynar.

Pratik olarak, 'veri ambarı uygulamaları' terimi, verilerin kaç farklı türde işlenebileceğini ve kullanılabileceğini ifade eder.

Aşağıda belirtildiği gibi üç tür DW Uygulamamız vardır.

  1. Bilgi işlem
  2. Analitik işleme
  3. BI amacına hizmet eden veri madenciliği

# 1) Bilgi İşleme

Bu, veri ambarının içinde depolanan verilerle doğrudan bire bir temasa izin verdiği bir tür uygulamadır.

Veriler, veriler üzerinde doğrudan sorgulama yapılarak (veya) veriler üzerinde temel bir istatistiksel analiz yapılarak işlenebildiğinden ve nihai sonuçlar raporlar, tablolar, çizelgeler veya grafikler şeklinde iş kullanıcılarına raporlanacaktır.

DW, Bilgi İşleme için aşağıdaki araçları destekler:

(i) Sorgu Araçları: İşletme (veya) analist, verileri keşfetmek ve çıktıyı iş gereksinimine göre raporlar veya grafikler şeklinde oluşturmak için sorgu araçlarını kullanarak sorguları çalıştırır.

Veri Ambarı: Sorgu Araçları

(ii) Raporlama Araçları: İşletme, sonuçları tanımlanmış herhangi bir formatta ve programlı olarak, yani günlük, haftalık veya aylık olarak görmek istiyorsa, raporlama araçları kullanılacaktır. Bu tür raporlar herhangi bir zamanda kaydedilebilir ve incelenebilir.

(iii) İstatistik Araçları: İşletme, verilerin geniş bir görünümü üzerinde bir analiz yapmak isterse, bu tür sonuçları oluşturmak için istatistik araçları kullanılacaktır. İşletmeler, bu stratejik sonuçları anlayarak sonuçlara varabilir ve tahminlerde bulunabilir.

Veri Ambarı - İstatistiksel Analiz

# 2) Analitik İşleme

Bu, bir veri ambarının içinde depolanan verilerin analitik olarak işlenmesine izin verdiği bir tür uygulamadır. Veriler, Dilimle ve Zarla, Detaya Git, Yuvarla ve Döndürme gibi aşağıdaki işlemlerle analiz edilebilir.

(i) Dilim ve Zar : Veri ambarı, farklı perspektiflerin bir kombinasyonu ile birçok düzeyden erişilen verileri analiz etmek için dilimleme işlemlerine olanak tanır. Dilimle ve kes işlemi dahili olarak detaya inme mekanizmasını kullanır. Dilimleme, boyutsal veriler üzerinde çalışır.

İş gereksiniminin bir parçası olarak, tek bir alana odaklanırsak, dilimleme o belirli alanın boyutlarını gereksinimlere göre analiz eder ve sonuçları verir. Dicing analitik işlemler üzerinde çalışır. Dicing, çeşitli perspektifler sağlamak için tüm boyutların üzerinde belirli bir özellik kümesi için yakınlaştırma yapar. Boyutlar, bir veya daha fazla ardışık dilimden alınır.

(ii) Detaya Gitme : İşletme herhangi bir özet numarasının daha ayrıntılı bir düzeyine gitmek istiyorsa, ayrıntıya inme, o özette küçük ayrıntılı düzeylere gitme işlemidir. Bu, neler olduğu ve işin nereye daha yakından odaklanması gerektiği konusunda harika bir fikir verir.

Kök neden analizi için hiyerarşi düzeyinden küçük ayrıntı düzeyine kadar izleri ayrıntılı olarak inceleyin. Bu, bir örnekle kolayca anlaşılabilir, çünkü satış detayı Ülke düzeyi -> Bölge düzeyi -> Eyalet düzeyi -> Bölge düzeyi -> Mağaza düzeyi.

Derinlemesine

(iii) Topla : Yuvarlama, detaya inme işleminin tersi çalışır. İşletme özetlenmiş herhangi bir veri isterse, o zaman toparlanarak resme gelir. Boyut hiyerarşisinde yukarı hareket ederek ayrıntı düzeyi verilerini toplar.
Toplayıcılar, bir sistemin gelişimini ve performansını analiz etmek için kullanılır.

Bu bir ile anlaşılabilir Misal toplamların toplanabileceği bir satış toplamasında olduğu gibi Şehir seviyesi -> Devlet düzeyinde -> Bölge düzeyi -> Ülke düzeyi .

(iv) Pivot : Pivotlama, küpler üzerindeki verileri döndürerek boyut verilerini analiz eder. Örneğin, satır boyutu sütun boyutuyla değiştirilebilir ve bunun tersi de yapılabilir.

# 3) Veri Madenciliği

Bu, veri ambarının verilerin bilgi keşfine izin verdiği ve sonuçların görselleştirme araçlarıyla temsil edileceği bir tür uygulamadır. Yukarıdaki iki tür uygulamada, bilgiler kullanıcılar tarafından yönlendirilebilir.

Veriler çeşitli işletmelerde çok genişlediğinden, verilere ilişkin tüm olası içgörüleri elde etmek için veri ambarını sorgulamak ve ayrıntılı olarak incelemek zordur. Daha sonra bilginin keşfini gerçekleştirmek için veri madenciliği devreye giriyor.

Bu, tüm geçmiş ilişkilendirmeler, sonuçlar vb. İle birlikte verileri yönlendirir ve geleceği öngörür. Dolayısıyla bu, veri odaklı olup, kullanıcı odaklı değildir. Veriler, gizli kalıplar, ilişkilendirmeler, sınıflandırmalar ve tahminler bularak keşfedilebilir.

Veri madenciliği, geleceği tahmin etmek için verilerle derinlemesine gider. Tahminlere dayanarak, alınması gereken eylemleri de önerir.

Aşağıda Veri Madenciliğinin çeşitli faaliyetleri yer almaktadır:

web uygulama testi mülakat soruları ve cevapları
  • Desenler: Veri madenciliği, veritabanında oluşan kalıpları keşfeder. Kullanıcılar, karar verme için bazı model bilgilerinin beklendiği iş girdilerini sağlayabilir.
  • Dernekler / İlişkiler: Veri madenciliği, nesneler arasındaki ilişkileri, ilişkilendirme kurallarının sıklığı ile keşfeder. Bu ilişki iki veya daha fazla nesne arasında olabilir (veya) aynı nesnenin özellikleri içindeki kuralları keşfedebilir.
  • Sınıflandırma: Veri madenciliği, verileri bir dizi önceden tanımlanmış sınıfta düzenler. Dolayısıyla, verilerden herhangi bir nesne alınırsa, sınıflandırma, ilgili sınıf etiketini o nesneyle ilişkilendirir.
  • Tahmin: Veri madenciliği, iş dünyasında gelecekteki olası en iyi değerleri / eğilimleri bulmak için bir dizi mevcut değeri karşılaştırır.

Bu nedenle, yukarıdaki tüm sonuçlara dayanarak, Veri madenciliği ayrıca alınacak bir dizi eylem önerir.

Bir Veri Ambarının Özellikleri

Bir veri ambarı, Konu yönelimli, Entegre, Uçucu Olmayan ve Zaman varyantı gibi verilerin aşağıdaki özelliklerine göre oluşturulur.

# 1) Konu Odaklı: Bir veri ambarını, akıllı verilerin uygulanması yerine belirli bir konu alanına göre analiz edebildiğimiz için konu odaklı olarak tanımlayabiliriz. Bu, kolay karar verme için daha tanımlanmış sonuçlar sağlar. Bir eğitim sistemi ile ilgili olarak, konu alanları öğrenciler, konular, notlar, öğretmenler vb. Olabilir.

# 2) Entegre: Veri ambarındaki veriler, diğer ilişkisel veritabanları, düz dosyalar vb. Gibi farklı kaynaklardan entegre edilir. Etkili veri analizi için bu kadar büyük miktarda veri alınır. Ancak, farklı veri kaynakları farklı formatlarda olabileceğinden veri uyuşmazlıkları olabilir. Veri ambarı, tüm bu verileri tüm sistem genelinde tutarlı bir biçimde sunar.

# 3) Uçucu değil: Veriler veri ambarına yüklendikten sonra değiştirilemez. Mantıksal olarak bu kabul edilebilir bir durumdur, çünkü sık sık veri değişimi verileri analiz etmenize izin vermez. Operasyonel veri tabanındaki sık değişiklikler bir veri ambarına planlı olarak yüklenebilir, bu süreçte yeni veriler eklenir, ancak daha önceki veriler silinmez ve geçmiş veriler olarak kalır.

# 4) Zaman Değişkeni: Veri ambarındaki son verilerle birlikte tüm geçmiş veriler, herhangi bir zaman aralığındaki verileri almak için çok önemli bir rol oynar. İşletme herhangi bir rapor, grafik vb. İsterse, önceki yıllarla karşılaştırmak ve trendleri analiz etmek için 6 aylık, 1 yıllık ve hatta daha eski veriler vb. Tüm eski veriler gereklidir.

Veri Ambarının Faydaları

Bir veri ambarı sistemi üretken olduğunda, bir kuruluş onu kullanarak aşağıdaki faydaları elde eder:

  1. Gelişmiş İş Zekası
  2. Artan Sistem ve Sorgu Performansı
  3. Birden Çok Kaynaktan İş Zekası
  4. Verilere Zamanında Erişim
  5. Gelişmiş Veri Kalitesi ve Tutarlılığı
  6. Tarihsel Zeka
  7. Yüksek Yatırım Getirisi

# 1) Gelişmiş İş Zekası: Veri Ambarı ve İş Zekası'nın bulunmadığı önceki günlerde iş kullanıcıları ve analistler, sınırlı miktarda veriyle ve kendi içgüdüleriyle karar alırlardı.

DW & BI, gerçek gerçeklerle ve belirli bir süre boyunca toplanan gerçek organizasyon verileriyle içgörüler sunarak bir değişiklik getirdi. İş kullanıcıları, stratejik karar verme ve akıllı iş kararları ihtiyaçlarına göre pazarlama, finans, satış vb. Gibi iş süreçleri verilerinden herhangi birini doğrudan sorgulayabilir.

# 2) Artan Sistem ve Sorgu Performansı: Veri ambarı, heterojen sistemlerden büyük bilgileri toplar ve tek bir sistem altına yerleştirir, böylece hızlı veri erişimi için tek bir sorgu motoru kullanılabilir.

# 3) Birden Çok Kaynaktan İş Zekası: İş Zekasının genellikle veriler üzerinde nasıl çalıştığını biliyor musunuz? Bir proje üzerinde çalışmak için birden çok sistemden, alt sistemden, platformdan ve veri kaynaklarından gelen verileri emer. Ancak Veri ambarı, tüm proje verilerini herhangi bir kopya olmadan konsolide ederek BI için bu sorunu çözer.

# 4) Verilere Zamanında Erişim: İş kullanıcıları, veri alımına daha az zaman harcayarak fayda sağlayacaktır. Verileri minimum teknik bilgi ile sorgulayabilecekleri ve raporları oluşturabilecekleri bazı araçları vardır. Bu, iş kullanıcılarının veri toplama yerine veri analizine yeterli zaman harcamasını sağlar.

# 5) Gelişmiş Veri Kalitesi ve Tutarlılığı: Veri ambarlama, farklı kaynak sistem formatlarına sahip verileri tek bir formata dönüştürür. Bu nedenle, verileri veri ambarına tedarik eden aynı iş birimleri, iş raporları ve sorguları için DW havuzunu yeniden kullanabilir.

Bu nedenle, kuruluşun görüşüne göre, tüm iş birimleri tutarlı sonuçlar / raporlarla yanınızda olacaktır. Bu nedenle, bu kaliteli ve tutarlı veriler, başarılı bir işin yürütülmesine yardımcı olur.

# 6) Tarihsel Zeka: Veri ambarı, herhangi bir işlem sistemi tarafından tutulmayan tüm geçmiş verileri korur. Bu büyük miktardaki veri, verileri belirli bir süre boyunca analiz etmek ve raporlamak ve geleceği tahmin etmek için eğilimleri analiz etmek için kullanılır.

# 7) Yüksek Yatırım Getirisi (ROI): Herkes, daha büyük karlar ve daha az giderler açısından yatırımlardan iyi getiri bekleyerek bir işe başlar. Gerçek veri dünyasında birçok çalışma, veri ambarı ve İş Zekası sistemlerinin uygulanmasının yüksek gelirler yarattığını ve maliyeti düşürdüğünü kanıtlamıştır.

Şimdiye kadar, iyi tasarlanmış bir DW sisteminin işletmenize nasıl fayda sağladığını anlayabilmelisiniz.

Veri Ambarlamanın Dezavantajları

Çok başarılı bir sistem olmasına rağmen, sistemdeki bazı tuzakları bilmek iyidir:

  • Bir Veri Ambarı oluşturmak kesinlikle zaman alan ve karmaşık bir süreçtir.
  • Sistemin sürekli yükseltmelere ihtiyacı olduğu için bakım maliyeti ağırdır. Düzgün kullanılmazsa da artabilir.
  • DW sistemini anlamak ve teknik olarak uygulamak için geliştiricilere, test uzmanlarına ve kullanıcılara uygun eğitim verilmelidir.
  • Karar vermek için DW'ye yüklenemeyen hassas veriler olabilir.
  • Herhangi bir iş sürecinin (veya) kaynak sistemlerinin yeniden yapılandırılmasının DW üzerinde önemli bir etkisi vardır.

Sonuç

Bu giriş öğreticisinin, veri ambarlamayla ilgili temel bilgiler için bir arka plan sağladığını umuyoruz. Veri Ambarının tüm temel kavramlarını derinlemesine inceledik.

Bu kapsamlı eğitimde Veri Ambarının tanımını, türlerini, özelliklerini, faydalarını ve dezavantajlarını öğrendik.

=> Kolay Veri Depolama Eğitim Serisini Okuyun.

Önerilen Kaynaklar

^