Veri Ambarı'ndaki (ETL) Meta Veriler Örneklerle Açıklandı

metadata data warehouse explained with examples

Bu Eğitimde Meta Verilerin ETL'deki Rolü, Meta Veri Örnekleri ve Türleri, Meta Veri Deposu ve Meta Veri Yönetimindeki Zorluklar Açıklanmaktadır:

ETL'de Veri Pazarı önceki eğitimimizde ayrıntılı olarak açıklanmıştır.

ETL'de Meta Veri kavramı çok önemlidir ve bu eğitim Meta Veriler hakkında her şeyi açıklayacaktır.

Meta verilerin rolünü, meta veri örneklerini, türlerini, meta veri havuzunu, veri ambarı meta verilerinin nasıl yönetilebileceğini, meta veri yönetimi zorluklarını kapsar.

Ayrıca meta veriye dayalı ETL'nin ne olduğunu ve veriler ile meta veriler arasındaki farkı da öğreneceksiniz.

=> Ücretsiz Veri Ambarı Eğitim Serisini Buradan Okuyun.

Hedef kitle

• Veri ambarı / ETL geliştiricileri ve test edicileri.
• Veritabanı kavramları hakkında temel bilgiye sahip veritabanı uzmanları.
• Veri ambarı / ETL alanlarını anlamak isteyen veritabanı yöneticileri / büyük veri uzmanları.
• Veri ambarı işleri arayan üniversite mezunları / birinci sınıf öğrencileri.

Ne öğreneceksin:

yönlendiricimde ağ güvenlik anahtarını nerede bulabilirim

• ETL'deki Meta Veriler
  • Veri Ambarında Meta Verinin Rolü
  • Basit Terimlerde Meta Veri Örnekleri
• Veri ve Meta Veriler Arasında Karşılaştırma
  • Meta Veri Türleri
  • ETL'de Meta Veri Havuzu
  • Veri Ambarlama Meta Verileri Nasıl Yönetilebilir?
  • Meta Veri Yönetiminin Zorlukları
  • Meta Veriye Dayalı ETL Nedir?
• Sonuç
  • Önerilen Kaynaklar

ETL'deki Meta Veriler

Veri ambarı ekibi (veya) kullanıcıları sistemi oluşturmak, sürdürmek ve yönetmek için çeşitli durumlarda meta verileri kullanabilir. Veri ambarındaki meta verilerin temel tanımı, 'Verilerle ilgili verilerdir' .

Meta veriler, aşağıdaki gibi DW verileri hakkında her türlü bilgiyi tutabilir:

• Çıkarılan verilerin kaynağı.
• Bu DW verilerinin kullanımı.
• Her türlü veri ve değerleri.
• Verilerin özellikleri.
• Çıkarılan veriler için dönüşüm mantığı.
• DW tabloları ve öznitelikleri.
• DW nesneleri
• Zaman damgaları

Meta veriler, DW sistemindeki veriler için bir içindekiler tablosu görevi görür ve bu, tekniği bu veriler hakkında daha fazla ayrıntıyla gösterir. Basit bir deyişle, herhangi bir kitapta, o kitabın içeriği için meta veri işlevi gören bir dizin düşünebilirsiniz.

Benzer şekilde, Meta Veriler DW içeriğine bir dizin olarak çalışır. Bu tür tüm meta veriler bir havuzda saklanır. Metadata üzerinden geçerek, son kullanıcılar DW sistemini analiz etmeye nereden başlayabileceklerini öğrenirler. Aksi takdirde, son kullanıcıların böylesine büyük bir DW sisteminde veri analizine nereden başlayacaklarını bilmek zordur.

Veri Ambarında Meta Verinin Rolü

Önceki günlerde, Meta Veriler belge olarak oluşturuldu ve saklanıyordu. Ancak günümüzün dijital dünyasında, çeşitli araçlar, DW sürecinin her seviyesinde meta verileri kaydederek bu işi kolaylaştırdı.

Bir araç tarafından oluşturulan meta veriler standartlaştırılabilir (yani veriler tek bir formata getirilebilir) ve DW sisteminin herhangi bir yerinde diğer araçlar arasında yeniden kullanılabilir.

Operasyonel sistemlerin güncel verileri koruduğunun farkındayız, DW sistemleri geçmiş ve güncel verileri korur.

Meta veriler, kaynak sistemlerde, veri çıkarma / dönüştürme yöntemlerinde ve bu süreçte ortaya çıkacak verilerin yapısında (veya) içeriğinde meydana gelen tüm değişiklikleri takip etmelidir. Meta veriler, birkaç yıl boyunca tüm bu değişiklikleri takip etmek için çeşitli sürümleri koruyacaktır.

Depoda sağlanan yeterli meta veri, herhangi bir kullanıcının sistemi daha verimli ve bağımsız bir şekilde analiz etmesine yardımcı olacaktır. Meta verileri anlayarak, en iyi sonuçlar için DW verileri üzerinde her türlü sorguyu çalıştırabilirsiniz.

Meta Verilerin Rolünün resimsel gösterimi:

Basit Terimlerde Meta Veri Örnekleri

Aşağıda, Meta Veri örneklerinden bazıları verilmiştir.

• Bir web sayfasının meta verileri, kodlandığı dili, onu oluşturmak için kullanılan araçları, destekleyici tarayıcıları vb. İçerebilir.
• Dijital bir görüntünün meta verileri, resmin boyutunu, çözünürlüğünü, renk yoğunluğunu, görüntünün oluşturulma tarihini vb. İçerebilir.
• Bir belgenin meta verileri, belgenin oluşturulma tarihini, son değiştirilme tarihini, boyutunu, yazarını, açıklamasını vb. İçerebilir.

Veri ve Meta Veriler Arasında Karşılaştırma

Meta Veri Türleri

Meta verilerin çeşitli türlere göre sınıflandırılması, onu daha iyi anlamamıza yardımcı olacaktır. Bu sınıflandırma, kullanımına (veya) kullanıcılara vb. Dayalı olabilir.

Farklı Meta Veri türlerini aşağıda inceleyelim:

# 1) Arka Oda Meta Verileri: DBA'ları (veya) son kullanıcıları ayıklama, temizleme ve yükleme işlemlerine yönlendirir.

# 2) Ön oda Meta Verileri: Son kullanıcıları BI araçları ve raporları ile çalışmaya yönlendirir.

kök neden analizi örnekleri yazılım geliştirme

# 3) Meta Verileri İşleme: Bu, yüklenen, reddedilen, işlenen satır sayısı ve bir DW sistemine yükleme süresi gibi ETL işlem meta verilerini depolar. Bu bilgilere son kullanıcılar da erişebilir.

Aynı zamanda, evreleme tablolarının istatistikleri de ETL ekibi için önemlidir. Bu meta veriler, yüklenen, reddedilen, işlenen satır sayısı ve her bir aşamalandırma tablosuna yükleme süresi gibi aşama tablolarını işleyen verileri depolar.

# 4) Veri Köken: Bu, her kaynak sistem öğesi için mantıksal dönüşümü DW hedef öğesine depolar.

# 5) İş Tanımları: DW tablolarının bağlamı, iş tanımlarından türetilmiştir. Bir tablodaki her öznitelik bir iş tanımıyla ilişkilendirilir. Bu nedenle bunlar, ileride başvurmak üzere meta veri (veya) başka bir belge olarak saklanmalıdır. Hem son kullanıcılar hem de ETL ekibi bu iş tanımlarına bağlıdır.

# 6) Teknik Tanımlar: Teknik tanımlar, iş tanımlarından daha çok veri evreleme alanında kullanılmaktadır. Temel amaç, aşama tabloları oluştururken belirsizliği azaltmak ve mevcut tabloları yeniden kullanmaktır. Teknik tanımlar, konumu ve yapısı gibi her evreleme tablosunun ayrıntılarını saklayacaktır.

Her evreleme tablosu teknik olarak burada belgelenmiştir, belgelenmemişse bu, aşamalı tablo olmadığı anlamına gelir. Bu, aynı evreleme tablosunun yeniden oluşturulmasını önler.

# 7) İşletme Meta Verileri: Veriler, son kullanıcıların / analistlerin / yöneticilerin / herhangi bir kullanıcının yararı için iş koşullarında saklanacaktır. İşletme meta verileri, kaynak sistem verilerinin proxy'sidir, yani üzerinde hiçbir veri manipülasyonu yapılmaz. Herhangi bir iş belgesi ve iş kuralından türetilebilir.

# 8) Teknik Meta Veriler: Bu, tablo öznitelikleri, veri türleri, boyut, birincil anahtar öznitelikleri, yabancı anahtar öznitelikleri ve tüm dizinler gibi teknik verileri depolar. Bu, işletme meta verilerine kıyasla daha yapılandırılmıştır.

Teknik meta veriler, temel olarak geliştiriciler / testçiler / analistler / DBA'lar gibi DW ekibinin sistemi oluşturması (veya) sürdürmesi için tasarlanmıştır. Bu aynı zamanda yöneticiler tarafından veritabanı yüklerini ve veri yedeklerini vb. İzlemek için önemli ölçüde kullanılır.

# 9) Operasyonel Meta Veriler: DW sistemine giren verilerin, çeşitli veri türleri ve alanları olan birçok işletim sisteminden kaynaklandığını bildiğimiz gibi. DW özütleri, bu tür verileri benzersiz türe dönüştürür ve tüm bu verileri sisteme yükler.

Aynı zamanda, verileri kaynak sistem verilerine geri bağlayabilmelidir. Tüm bu operasyonel veri kaynakları bilgilerini depolayan meta veriler, Operasyonel meta veriler olarak bilinir.

# 10) Kaynak Sistem Bilgileri:

Aşağıdaki meta verileri çeşitli kaynak sistemlerden toplayabilirsiniz:

• Veritabanı (veya) dosya sistemi: Bu, kaynak sistem veri tabanlarının (veya) dosyalarının adlarını saklayacaktır.
• Tablo özellikleri: Bu, tablo adı, amacı, boyutu, öznitelikleri, birincil anahtarlar ve yabancı anahtarlar gibi tablolarla ilgili tüm ayrıntıları saklayacaktır.
• İstisna işleme kuralları: Bu, sistem arızaları durumunda sistemi kurtarmanın farklı yöntemlerini saklayacaktır.
• İş tanımları: Bu, verilerin kısa bir şekilde anlaşılması için iş tanımlarını saklayacaktır.
• İş kuralları: Bu, her tablonun verilerini anlamak ve tutarsızlığı önlemek için bir dizi kuralı depolayacaktır.

Kaynak sistem meta verileri, verileri analiz ederken DW ekibine çok zaman kazandırır.

# 11) ETL İş Meta Verileri: ETL iş meta verileri, ETL sistemini yüklemek için programda işlenecek tüm işlerin ayrıntılarını sakladığından çok önemlidir.

Bu meta veriler aşağıdaki bilgileri depolar:

• İş adı: ETL iş adı.
• İş amacı: İşi yürütmenin amacı.
• Kaynak Tablolar / Dosyalar: Bu ETL işi tarafından verilerin kaynaklandığı tüm tabloların ve dosyaların adlarını ve konumunu sağlar. Bu, birden fazla tablo (veya) dosya adına sahip olabilir.
• Hedef Tablolar / Dosyalar: Verilerin bu ETL işi tarafından dönüştürüldüğü tüm tabloların ve dosyaların adlarını ve konumunu sağlar. Bu, birden fazla tablo (veya) dosya adına sahip olabilir.
• Reddedilen Veriler: Amaçlanan kaynak verilerin hedefe yüklenmediği tüm tabloların ve dosyaların adlarını ve konumunu sağlar.
• Ön İşlemler: Geçerli işin bağımlı olduğu işler (veya) komut dosyası adlarını sağlar. Bu, mevcut işi çalıştırmadan önce bunların başarıyla yürütülmesi gerektiği anlamına gelir.
• Sonrası Süreçler: İşlemi tamamlamak için geçerli işten hemen sonra çalıştırılması gereken işler (veya) komut dosyası adlarını sağlar.
• Sıklık: İşin ne sıklıkta yapılması gerektiği hakkında bilgi sağlar, yani günlük, haftalık (veya) aylık.

# 12) Dönüşüm Meta Verileri: Dönüşüm meta verileri, ETL süreciyle ilgili tüm inşaat bilgilerini depolar. ETL sürecindeki verilerin her bir manipülasyonu veri dönüşümü olarak bilinir.

ETL sürecindeki tüm işlevler, saklı yordamlar, imleçler, değişkenler ve döngüler, dönüşümler olarak kabul edilebilir. Ancak bu tür dönüşümler, meta veriler olarak ayrı ayrı belgelenemez.

Tüm ETL süreci, veri dönüştürmeleriyle oluşturulur. ETL'deki birkaç dönüşüm önceden tanımlanabilir ve DW sistemi genelinde kullanılabilir. ETL geliştiricileri, tüm veri dönüşümlerini oluşturmak (veya) yeniden işlemek için zamanlarını harcarlar. ETL süreci geliştirme sırasında önceden tanımlanmış dönüşümleri yeniden kullanmak işi hızlandıracaktır.

ETL'de bulabileceğiniz aşağıdaki veri dönüşümlerini okuyun:

• Kaynak Veri Ayıklamaları: Bu, XML / ana bilgisayar verilerini okuyan bir SQL Seçim sorgusu (veya) FTP (veya) gibi kaynak sistem verilerinden okumak için veri dönüşümlerini içerir.
• Vekil Anahtar Oluşturucular: Her veritabanı tablo satırı için oluşturulması gereken yeni sıra numarası, meta veri olarak saklanır.
• Aramalar: Tüm IN ifadeleri, iç birleşimler ve dış birleşimlerle aramalar oluşturulabilir. Bunlar esas olarak bir olguyu yüklerken ilgili tüm boyut tablolarındaki yedek anahtarları tutmak için kullanılır.
• Filtreler: ETL sürecinde çıkarılması, yüklenmesi ve reddedilmesi gereken verileri sıralamak için filtreler önerilir. ETL sisteminin ilk aşamalarında verileri filtrelemek iyi bir uygulamadır. Filtreler, iş kurallarına (veya) kısıtlamalara bağlı olarak uygulanır.
• Toplamlar: Veri ayrıntı düzeyine bağlı olarak, toplama, sayma, ortalama vb. Gibi toplama işlevleriyle ilgili meta veriler kullanılabilir.
• Güncelleme Stratejileri: Bunlar, verileri güncellerken bir kayda uygulanan kurallardır. Mevcut verilerde herhangi bir değişiklik varsa, bu, bir kaydın eklenmesi, silinmesi (veya) güncellenmesi gerektiğini gösterir.
• Hedef Yükleyici: Hedef yükleyici, verilerin ETL işlemi aracılığıyla içine yüklenmesi gereken veritabanı, tablo adları ve sütun adlarının ayrıntılarını saklayacaktır. Ayrıca bu, ETL sistemine veri yüklenirken gerçekleştirilen, varsa, toplu yükleme yardımcı programının ayrıntılarını da kaydedecektir.

Her dönüşüm, amacına ilişkin kısa bir notla farklı bir şekilde adlandırılabilir.

Yukarıdaki dönüşüm listesi için bazı adlandırma kuralları örnekleri burada verilmiştir.

ETL'de Meta Veri Havuzu

Bir meta veri havuzu, herhangi bir tür meta verinin yerel bir veritabanında (veya) sanal bir veritabanında depolandığı yerdir. İşletme meta verileri (veya) teknik meta verileri gibi her bir meta veri türü, bir havuzda mantıksal olarak ayrılabilir.

Yukarıdaki iki türe ek olarak, bilgi havuzunun Bilgi gezgini adında bir bileşeni daha vardır.

Bilgi gezgini, aşağıdaki görevleri gerçekleştirmek için kullanılabilir:

• Sorgu Aracından Arayüz: Bu, DW meta verilerine erişmek için sorgu araçlarına bir arabirim sağlar.
• Ayrıntılar İçin Detaya Gitme: Bu, kullanıcının daha ayrıntılı bilgi için meta verileri incelemesine olanak tanır. Örnek olarak, birinci seviyede kullanıcı bir veri tablosu tanımı alabilir. Ayrıntıya inerek bir sonraki seviyede tablo niteliklerini alabilir. Verileri daha fazla inceleyerek, her bir özelliğin ayrıntılarını vb. Alabilir.
• Önceden Tanımlanmış Sorguları ve Raporları İnceleyin: Bu, kullanıcının önceden tanımlanmış sorguları ve raporları gözden geçirmesine olanak tanır. Bu, kendi başına uygun parametrelerle sorguları çerçevelemek için bir referans görevi görür.

Meta Veri Deposunun resimli temsili:

Veri Ambarlama Meta Verileri Nasıl Yönetilebilir?

Kişiler, süreçler ve araçlar, meta verileri yönetmek için temel kaynaklardır.

• Kişiler, uygun kullanım için meta verileri anlamalıdır.
• Süreç, meta verileri gelecekte kullanım için DW yaşam döngüsünün ilerlemesiyle araçlara (veya) havuza dahil edecektir.
• Daha sonra meta veriler araçlar tarafından yönetilebilir.

Meta Veri Yönetiminin Zorlukları

Meta veriler oluşturulduktan sonra, sisteme meta verileri entegre ederken ve yönetirken aşağıdaki zorluklarla karşılaşabilirsiniz.

• DW sisteminde çeşitli araçlar kullanılıyorsa, çeşitli meta veri biçimlerini standart bir biçime getirmek daha fazla çaba gerektirebilir. Çünkü meta veriler, elektronik tablolar, uygulamalar (veya) veritabanları arasında saklanabilir.
• Meta veri formatları, endüstri çapında yerleşik standartlara sahip değildir. Bu standartlaştırılmış süreç eksikliği nedeniyle, meta verileri DW sisteminin ve araçlarının çeşitli düzeylerinden geçirmek zordur.
• Geçmiş meta verilerin çeşitli sürümlerini tutarlı bir şekilde korumak karmaşık bir görevdir.

Meta Veriye Dayalı ETL Nedir?

Meta veriye dayalı ETL, veri yükleme sürecini bir DW sistemine basitleştirmek için bir katman oluşturur. Meta verilere bağlı olarak, verileri sisteme işleyip işlemeyeceğinize (veya vermeyeceğinize) karar verebilirsiniz. Dolayısıyla, meta veriye dayalı ETL olarak adlandırabilirsiniz.

Sonuç

Bir DW sisteminin başarısını (veya başarısızlığını) belirlemede Meta Verilerin önemli rolü, bu eğitimde ayrıntılı olarak açıklanmıştır.

Meta Verilerin Anlamını, Rolünü, Örneklerini, Türlerini, Zorluklarını ilgili resimsel temsil ile birlikte ayrıntılı olarak inceledik.

Bu Veri Ambarı Serisindeki bu bilgilendirici eğitimlerin Veri Ambarlama ve ilgili kavramlar hakkındaki bilgilerinizi zenginleştirdiğini umuyoruz !!!

Mutlu Okumalar !!

=> Veri Ambarını Sıfırdan Öğrenmek İçin Burayı Ziyaret Edin.

mobil test mülakat soruları ve cevapları pdf

Önerilen Kaynaklar

• Örneklerle Veri Ambarı Test Eğitimi | ETL Test Kılavuzu
• ETL Test Veri Ambarı Test Eğitimi (Tam Kılavuz)
• Veri Ambarında Boyutlu Veri Modeli - Örneklerle Eğitim
• Data Mart Eğitimi - Data Mart Türleri, Örnekleri ve Uygulaması
• Veri Ambarı'nda ETL (Çıkart, Dönüştür, Yükle) İşlemi Nedir?
• ETL Sürecinde Yararlı En İyi 10 Veri Eşleme Aracı (2021 LİSTESİ)
• Veri Madenciliği Örnekleri: Veri Madenciliğinin En Yaygın Uygulamaları 2021
• ETL Test Mülakat Soruları ve Cevapları