neural network learning rules perceptron hebbian learning
Sinir Ağı Öğrenme Kuralları Üzerine Bu Derinlemesine Eğitim, Hebbian Öğrenme ve Algılayıcı Öğrenme Algoritmasını Örneklerle Açıklar:
Önceki eğitimimizde tartıştık Yapay Sinir Ağı Bu, nöron adı verilen çok sayıda birbirine bağlı elementin mimarisi.
Bu nöronlar, istenen çıktıyı vermek için alınan girdiyi işler. Düğümler veya nöronlar girişler, bağlantı ağırlıkları ve aktivasyon fonksiyonları ile birbirine bağlanır.
Bir sinir ağının temel özelliği öğrenme yeteneğidir. Sinir ağları kendilerini bilinen örneklerle eğitiyor. Ağ eğitildikten sonra, sorunun bilinmeyen değerlerini çözmek için kullanılabilir.
=> Eksiksiz Makine Öğrenimi Eğitim Serisini Okuyun
Sinir Ağı, denetimli veya denetimsiz öğrenme olarak kategorize edilen çeşitli öğrenme planları aracılığıyla öğrenir.
Denetimli öğrenme algoritmalarında, hedef değerler ağ tarafından bilinir. Optimum performans için istenen çıktı (hedef) ile gerçek çıktı arasındaki hatayı azaltmaya çalışır. Denetimsiz öğrenme algoritmalarında, hedef değerler bilinmez ve ağ, kümeler oluşturarak girdideki gizli kalıpları belirleyerek kendi kendine öğrenir.
Bir YSA, 3 bölümden oluşur, yani giriş, gizli katman ve çıktı katmanı. Ağda mevcut olabilecek hiçbir gizli katman veya 1 veya daha fazla gizli katman bulunmayabilirken, tek bir giriş katmanı ve çıktı katmanı vardır. Bu yapıya dayanarak YSA, tek bir katman, çok katmanlı, ileri beslemeli veya tekrarlayan ağlar olarak sınıflandırılır.
Ne öğreneceksin:
- Önemli YSA Terminolojisi
- Sinir Ağı Öğrenme Kurallarının Karşılaştırması
- Sonuç
Önemli YSA Terminolojisi
YSA'daki çeşitli öğrenme kurallarını sınıflandırmadan önce, YSA ile ilgili bazı önemli terminolojileri anlayalım.
# 1) Ağırlıklar: Bir YSA'da, her bir nöron bağlantı bağlantıları aracılığıyla diğer nöronlara bağlanır. Bu bağlantılar bir ağırlık taşır. Ağırlık, nörona giriş sinyali hakkında bilgi içerir. Ağırlıklar ve giriş sinyali bir çıktı almak için kullanılır. Ağırlıklar, Bağlantı matrisi olarak da adlandırılan bir matris formunda gösterilebilir.
Her nöron, bağlantı ağırlıkları aracılığıyla bir sonraki katmanın diğer her nöronuna bağlanır. Dolayısıyla, 'n' düğüm varsa ve her düğümün 'm' ağırlıkları varsa, ağırlık matrisi şöyle olacaktır:
W1, düğüm 1'den başlayan ağırlık vektörünü temsil eder. W11, 1'in ağırlık vektörünü temsil eder.stönceki katmanın düğümü 1'estsonraki katmanın düğümü. Benzer şekilde wij, 'i.' İşleme elemanından (nöron) bir sonraki katmanın 'jth' işleme elemanına kadar ağırlık vektörünü temsil eder.
# 2) Önyargı : Eğilim, giriş vektörüne bir giriş öğesi x (b) = 1 eklenerek ağa eklenir. Sapma ayrıca w (b) ile gösterilen bir ağırlık taşır.
Önyargı, nöronun çıktısının hesaplanmasında önemli bir rol oynar. Önyargı olumlu veya olumsuz olabilir. Pozitif bir önyargı net girdi ağırlığını artırırken, olumsuz önyargı net girdiyi azaltır.
en iyi ücretsiz e-posta hizmeti nedir
# 3) Eşik: Aktivasyon fonksiyonunda bir eşik değeri kullanılır. Net girdi, çıktıyı elde etmek için eşikle karşılaştırılır. NN'de, aktivasyon fonksiyonu eşik değerine göre tanımlanır ve çıktı hesaplanır.
Eşik değeri:
# 4) Öğrenme Oranı : Alfa ile gösterilir?. Öğrenme oranı 0 ile 1 arasında değişir. NN'nin öğrenme sürecinde ağırlık ayarlaması için kullanılır.
# 5) Momentum Faktörü : Sonuçların daha hızlı yakınsaması için eklenir. Momentum faktörü ağırlığa eklenir ve genellikle geri yayılım ağlarında kullanılır.
Sinir Ağı Öğrenme Kurallarının Karşılaştırması
| Öğrenme Yöntemleri -> | Dereceli alçalma | Hebbian | Rekabetçi | Stokastik | |||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| EPOCH 2 | |||||||||||
| Mimari Türü || | |||||||||||
| Tek Katman İleri Besleme | ADALINE Hopfield Algılayıcı | İlişkisel Hafıza Hopfield | Doğrusal Vektör Niceleme | ||||||||
| Çok Katmanlı İleri Besleme | Çağlayan Korelasyon Çok Katmanlı Yem İleri Radyal Önyargı Fonksiyon | Neocognitron | |||||||||
| Tekrarlayan | Tekrarlayan Sinir Ağ | Çift Yönlü Otomatik İlişkisel Hafıza Beyin - Durum - Kutu İçinde Hopfield | Uyarlanabilir Rezonans Teorisi | Boltzmann Makine Cauchy Makine | |||||||
YSA'nın çeşitli öğrenme türlerinin sınıflandırılması aşağıda gösterilmiştir.
Denetimli Öğrenme Algoritmalarının Sınıflandırılması
- Dereceli alçalma
- Stokastik
# 1) Gradient Descent Learning
Bu tür öğrenmede, hata azaltma, ağın aktivasyon fonksiyonu ve ağırlıkların yardımıyla gerçekleşir. Aktivasyon işlevi ayırt edilebilir olmalıdır.
Ağırlıkların ayarlanması, bu öğrenmedeki E hata gradyanına bağlıdır. Geri yayılım kuralı, bu tür öğrenmeye bir örnektir. Böylece ağırlık ayarı şu şekilde tanımlanır:
# 2) Stokastik Öğrenme
Bu öğrenmede, ağırlıklar olasılıklı bir şekilde ayarlanır.
Denetimsiz Öğrenme Algoritmalarının Sınıflandırılması
- Hebbian
- Rekabetçi
# 1) Hebbian Öğrenme
Bu öğrenme 1949'da Hebb tarafından önerilmiştir. Ağırlıkların bağıntılı olarak ayarlanmasına dayanmaktadır. Giriş ve çıkış desen çiftleri bir ağırlık matrisi W ile ilişkilidir.
Çıktının devrik değeri ağırlık ayarı için alınır.
# 2) Rekabetçi Öğrenme
Bir kazanan tüm stratejiyi alır. Bu tür öğrenmede, ağa bir girdi deseni gönderildiğinde, katmandaki tüm nöronlar rekabet eder ve yalnızca kazanan nöronlar ağırlık ayarlamalarına sahiptir.
Mc Culloch-Pitts Nöron
M-P Nöron olarak da bilinen bu, 1943'te keşfedilen en eski sinir ağıdır. Bu modelde, nöronlar bağlantı ağırlıkları ile bağlanır ve aktivasyon işlevi ikili olarak kullanılır. Eşik, nöronun ateşlenip ateşlenmeyeceğini belirlemek için kullanılır.
M-P nöronunun işlevi:
Hebbian Öğrenme Algoritması
Hebb Ağı Donald Hebb tarafından 1949'da belirtilmiştir. Hebb kuralına göre, ağırlıkların girdi ve çıktı çarpımı ile orantılı olarak arttığı bulunmuştur. Bu, bir Hebb ağında iki nöron birbirine bağlıysa, bu nöronlarla ilişkili ağırlıkların sinaptik boşluktaki değişikliklerle artırılabileceği anlamına gelir.
Bu ağ, iki kutuplu veriler için uygundur. Hebbian öğrenme kuralı genellikle mantık kapılarına uygulanır.
Ağırlıklar şu şekilde güncellenir:
W (yeni) = w (eski) + x * y
Hebbian Öğrenme Kuralı İçin Eğitim Algoritması
Algoritmanın eğitim adımları aşağıdaki gibidir:
- Başlangıçta, ağırlıklar sıfıra ayarlanır, yani i = 1'den n'ye tüm girişler için w = 0 ve n, toplam giriş nöron sayısıdır.
- Çıktı olalım. Girişler için etkinleştirme işlevi genellikle bir kimlik işlevi olarak ayarlanır.
- Çıkışın aktivasyon fonksiyonu da y = t olarak ayarlanmıştır.
- Ağırlık ayarlamaları ve önyargı şu şekilde ayarlanır:
- Her giriş vektörü ve çıkışı için 2'den 4'e kadar olan adımlar tekrarlanır.
Hebbian Öğrenme Kuralı Örneği
Hebbian Learning'i kullanarak bipolar girişlerle mantıksal AND işlevini uygulayalım
X1 ve X2 girişlerdir, b 1 olarak alınan önyargıdır, hedef değer girişler üzerinden mantıksal AND işleminin çıktısıdır.
| Giriş | Giriş | Önyargı | Hedef |
|---|---|---|---|
| X1 | X2 | b | Y |
| 1 | 1 | 1 | 1 |
| 1 | -1 | 1 | -1 |
| -1 | 1 | 1 | -1 |
| -1 | -1 | 1 | -1 |
# 1) Başlangıçta ağırlıklar sıfıra ayarlanır ve önyargı da sıfır olarak ayarlanır.
W1 = w2 = b = 0
#iki) İlk giriş vektörü (x1 x2 b) = (1 1 1) olarak alınır ve hedef değer 1'dir.
Yeni ağırlıklar şöyle olacaktır:
# 3) Yukarıdaki ağırlıklar, son yeni ağırlıklardır. İkinci giriş geçildiğinde, bunlar başlangıç ağırlıkları olur.
# 4) İkinci girişi = (1-1 1) alın. Hedef -1.
# 5) Benzer şekilde, diğer girdiler ve ağırlıklar hesaplanır.
Aşağıdaki tablo tüm girdileri göstermektedir:
| Girişler | Önyargı | Hedef Çıktı | Kilo Değişiklikleri | Önyargı Değişiklikleri | Yeni Ağırlıklar | ||||
|---|---|---|---|---|---|---|---|---|---|
| X1 | X2 | b | Y | ? w1 | ? w2 | ? b | W1 | W2 | b |
| 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| 1 | -1 | 1 | -1 | -1 | 1 | -1 | 0 | iki | 0 |
| -1 | 1 | 1 | -1 | 1 | -1 | -1 | 1 | 1 | -1 |
| -1 | -1 | 1 | -1 | 1 | 1 | -1 | iki | iki | -iki |
AND İşlevi için Hebb Net
Perceptron Öğrenme Algoritması
Perceptron Ağları, tek katmanlı ileri beslemeli ağlardır. Bunlara Tek Algılayıcı Ağlar da denir. Perceptron, bir giriş katmanı, gizli bir katman ve çıktı katmanından oluşur.
Giriş katmanı, engelleyici veya uyarıcı veya sıfır (-1, +1 veya 0) olabilen ağırlıklarla gizli katmana bağlanır. Kullanılan etkinleştirme işlevi, giriş katmanı ve gizli katman için ikili bir adım işlevidir.
Çıktı
Y = f (y)
Aktivasyon işlevi:
Ağırlık güncellemesi, gizli katman ile çıktı katmanı arasında, hedef çıktıyla eşleşecek şekilde gerçekleşir. Hata, gerçek çıktıya ve istenen çıktıya göre hesaplanır.
Çıktı hedefle eşleşirse ağırlık güncellemesi gerçekleşmez. Ağırlıklar başlangıçta 0 veya 1 olarak ayarlanır ve optimal bir çözüm bulunana kadar art arda ayarlanır.
Ağdaki ağırlıklar başlangıçta herhangi bir değere ayarlanabilir. Perceptron öğrenimi, tüm girdi eğitim modeli için doğru çıktı veren ağırlık vektörüne yakınsar ve bu öğrenme, sınırlı sayıda adımda gerçekleşir.
Perceptron kuralı hem ikili hem de bipolar girişler için kullanılabilir.
Tek Çıkışlı Algılayıcı için Öğrenme Kuralı
# 1) 'N' eğitim girdi vektörleri olsun ve x (n) ve t (n) hedef değerlerle ilişkilendirilir.
#iki) Ağırlıkları ve önyargıyı başlatın. Kolay hesaplama için bunları sıfıra ayarlayın.
# 3) Öğrenme oranı 1 olsun.
# 4) Giriş katmanı kimlik etkinleştirme işlevine sahiptir, bu nedenle x (i) = s (i).
# 5) Ağın çıktısını hesaplamak için:
# 6) Aktivasyon fonksiyonu, bir çıktı elde etmek için net girdiye uygulanır.
# 7) Şimdi çıktıya bağlı olarak, istenen hedef değeri (t) ve gerçek çıktıyı karşılaştırın.
# 8) Ağırlık değişikliği olmayana kadar yinelemeye devam edin. Bu koşul elde edildiğinde durun.
Çoklu Çıkış Algılayıcı için Öğrenme Kuralı
# 1) 'N' eğitim girdi vektörleri olsun ve x (n) ve t (n) hedef değerlerle ilişkilendirilir.
#iki) Ağırlıkları ve önyargıyı başlatın. Kolay hesaplama için bunları sıfıra ayarlayın.
# 3) Öğrenme oranı 1 olsun.
# 4) Giriş katmanı kimlik etkinleştirme işlevine sahiptir, bu nedenle x (i) = s (i).
# 5) J = 1'den m'ye her bir çıktı vektörünün çıktısını hesaplamak için net girdi:
# 6) Aktivasyon fonksiyonu, bir çıktı elde etmek için net girdiye uygulanır.
# 7) Şimdi çıktıya bağlı olarak, istenen hedef değeri (t) ve gerçek çıktıyı karşılaştırın ve ağırlık ayarlamaları yapın.
w, i'nci giriş ve j'nci çıkış nöronu arasındaki bağlantı bağlantılarının ağırlık vektörüdür ve t, j çıkış birimi için hedef çıktıdır.
# 8) Ağırlık değişikliği olmayana kadar yinelemeye devam edin. Bu koşul elde edildiğinde durun.
Perceptron Öğrenme Kuralı Örneği
Bipolar girişler ve çıkışlar için bir Perceptron ağı kullanarak AND işlevinin uygulanması.
Giriş modeli x1, x2 ve bias olacaktır. Başlangıç ağırlıkları 0 ve sapma 0 olsun. Eşik sıfıra ayarlandı ve öğrenme oranı 1.
AND Kapısı
| X1 | X2 | Hedef |
|---|---|---|
| 1 | 1 | 1 |
| 1 | -1 | -1 |
| -1 | 1 | -1 |
| -1 | -1 | -1 |
# 1) X1 = 1, X2 = 1 ve hedef çıkış = 1
W1 = w2 = wb = 0 ve x1 = x2 = b = 1, t = 1
Net girdi = y = b + x1 * w1 + x2 * w2 = 0 + 1 * 0 + 1 * 0 = 0
Eşik sıfır olduğundan, bu nedenle:
Buradan çıktı = 0 elde ederiz. Şimdi çıktı (y) = hedef (t) olup olmadığını kontrol edin.
y = 0 ancak t = 1 yani bunların aynı olmadığı anlamına gelir, dolayısıyla ağırlık güncellemesi gerçekleşir.
Yeni ağırlıklar, ilk giriş vektörü gösterildikten sonra 1, 1 ve 1'dir.
#iki) X1 = 1 X2 = -1, b = 1 ve hedef = -1, W1 = 1, W2 = 2, Wb = 1
Net girdi = y = b + x1 * w1 + x2 * w2 = 1 + 1 * 1 + (-1) * 1 = 1
Giriş = 1 için net çıktı şunlardan 1 olacaktır:
Bu nedenle yine hedef = -1 gerçek çıktı = 1 ile eşleşmez. Ağırlık güncellemeleri yapılır.
Şimdi yeni ağırlıklar w1 = 0 w2 = 2 ve wb = 0
Benzer şekilde, sonraki girdi setine devam ederek aşağıdaki tabloyu elde ederiz:
| Giriş | Önyargı | Hedef | Net Giriş | Hesaplanan Çıktı | Kilo Değişiklikleri | Yeni Ağırlıklar | |||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| X1 | X2 | b | t | yin | Y | ? w1 | ? w2 | ? b | W1 | W2 | wb |
| EPOCH 1 | |||||||||||
| 1 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 1 | 1 | 1 |
| 1 | -1 | 1 | -1 | 1 | 1 | -1 | 1 | -1 | 0 | iki | 0 |
| -1 | 1 | 1 | -1 | iki | 1 | 1 | -1 | -1 | 1 | 1 | -1 |
| -1 | -1 | 1 | -1 | -3 | -1 | 0 | 0 | 0 | 1 | 1 | -1 |
| 1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 1 | 1 | -1 |
| 1 | -1 | 1 | -1 | -1 | -1 | 0 | 0 | 0 | 1 | 1 | -1 |
| -1 | 1 | 1 | -1 | -1 | -1 | 0 | 0 | 0 | 1 | 1 | -1 |
| -1 | -1 | 1 | -1 | -3 | -1 | 0 | 0 | 0 | 1 | 1 | -1 |
EPOCHS, herhangi bir ağırlık değişikliği gerekmeyene ve yineleme durana kadar sisteme beslenen girdi kalıpları döngüsüdür.
kalite güvence testi soruları ve cevapları
Widrow Hoff Öğrenme Algoritması
Ayrıca şöyle bilinir Delta Kuralı doğrusal regresyon için gradyan iniş kuralını izler.
Bağlantı ağırlıklarını hedef ve çıkış değeri arasındaki farka göre günceller. Denetimli öğrenme algoritması kategorisine giren en küçük ortalama kare öğrenme algoritmasıdır.
Bu kuralı ADALINE (Uyarlanabilir Doğrusal Sinir Ağları) ve MADALINE izlemektedir. Perceptron'dan farklı olarak, Adaline ağlarının yinelemeleri durmaz, ancak en küçük ortalama kare hatasını azaltarak birleşir. MADALINE, birden fazla ADALINE ağıdır.
Delta öğrenme kuralının amacı, çıktı ile hedef vektör arasındaki hatayı en aza indirmektir.
ADALINE ağlarındaki ağırlıklar şu şekilde güncellenir:
En küçük ortalama kare hatası = (t- yiçinde)iki, ADALINE en küçük ortalama kare hatasına ulaşıldığında yakınsar.
Sonuç
Bu eğiticide, iki algoritmayı, yani Hebbian Öğrenme Kuralı ve Perceptron Öğrenme Kuralı tartıştık. Hebbian kuralı, ağırlık vektörünün giriş ve öğrenme sinyaline, yani çıktıya orantılı olarak artması kuralına dayanır. Ağırlıklar, eski ağırlığa girdi ve çıktı çarpımı eklenerek artırılır.
W (yeni) = w (eski) + x * y
Hebb kurallarının uygulanması, örüntü ilişkilendirme, sınıflandırma ve sınıflandırma problemlerinde yatmaktadır.
Perceptron öğrenme kuralı, hem tek çıkışlı hem de çoklu çıkış sınıflarının ağına uygulanabilir. Algılayıcı ağın amacı, girdi modelini belirli bir üye sınıfa sınıflandırmaktır. Giriş nöronları ve çıkış nöronu, ağırlıkları olan bağlantılar aracılığıyla bağlanır.
Ağırlıklar, gerçek çıktıyı hedef değerle eşleştirmek için ayarlanır. Öğrenme hızı 0 ile 1 arasında ayarlanır ve ağırlıkların ölçeklenebilirliğini belirler.
Ağırlıklar şunlara göre güncellenir:
Bu öğrenme kurallarının yanı sıra, makine öğrenimi algoritmaları, Denetimli, Denetimsiz, Takviye gibi diğer birçok yöntemle öğrenir. Diğer yaygın ML algoritmalarından bazıları Geri Yayılma, ART, Kohonen Kendi Kendini Düzenleyen Haritalar vb .'dir.
Bu Makine Öğrenimi Serisindeki tüm öğreticilerden keyif aldığınızı umuyoruz !!
=> Özel Makine Öğrenimi Serisi İçin Burayı Ziyaret Edin
Önerilen Kaynaklar
- Makine Öğreniminde Yapay Sinir Ağına Eksiksiz Bir Kılavuz
- Makine Öğrenimi Türleri: Denetimli ve Denetimsiz Öğrenim
- Veri Madenciliği - Makine Öğrenimi - Yapay Zeka - Derin Öğrenme
- Ağ Güvenliği Testi ve En İyi Ağ Güvenliği Araçları
- 2021'de En Popüler 11 Makine Öğrenimi Yazılım Aracı
- Makine Öğrenimi Eğitimi: Makine Öğrenimi ve Uygulamalarına Giriş
- 2021'in En İyi 15 Ağ Tarama Aracı (Ağ ve IP Tarayıcı)
- En İyi 30 Ağ Test Aracı (Ağ Performansı Tanılama Araçları)