Çok Değişkenli Test ve A / B Testi Basitleştirilmiş: Web Sayfası Optimizasyon Teknikleri Nasıl Test Edilir

multivariate testing

Giriş:

Sık kullandığımız birçok web sitesi ve uygulama var. Bunları kullanırken, muhtemelen web sitesinin şu anki sürümü haline nasıl geldiğine çok fazla dikkat etmiyoruz - diğer yandan, bir şeyler doğru görünmüyorsa, muhtemelen siteyi / uygulamayı bir daha asla ziyaret etmeyeceğiz.

Soru şu: 'Doğru' yapmak için ne gerekiyor?

Ne öğreneceksin:

• Çok Değişkenli Test ve A / B testi
• Çok Değişkenli Test nedir?
• MVT testi türleri:
• Çok Değişkenli Test Nasıl Yapılır
• Kaçınılması gereken hatalar
• Yapılması ve yapılmaması gerekenler
• Lehte ve aleyhte olanlar
• A / B Testi
• A / B testlerinin artıları ve eksileri:
• A / B testi ve Çok Değişkenli Test ile Bölünmüş test karşılaştırması
• Çok Değişkenli Test
• A / B / Bölme / Çok Değişkenli Test araçları
• Önerilen Kaynaklar

Çok Değişkenli Test ve A / B testi

Çoğu zaman 'o', test etmek ve değerlendirmek için son derece sağlam QA süreçlerimiz olan işlevselliktir. Ama 'o' da tasarım, öğelerin bir kombinasyonu, içeriğin bir sayfaya yerleştirilmesi, hatta bazen renk, yön vb. ürünün genel kabulü son kullanıcısı tarafından.

Bu alanda çok yardımcı olabilecek bir test dalı, Çok Değişkenli Test ve A / B testi .

Bugünün makalesinde tartışacağız Çok değişkenli (MVT) testi ve A / B testi ayrıntılı olarak türler.

Her ikisi de web sayfası optimizasyonunu ve bir web sitesi için dönüşüm oranını (ziyaretçilerin müşteri veya geri dönen ziyaretçi olma oranı - sırayla iş) iyileştirmeyi hedeflemektedir.

Çok Değişkenli Test nedir?

Bir ile başlayalım Misal .

Belirli bir web sitesi, bir resmi ve ilgili metne sahip olması gereken bir sayfanın etkinliğini tasarlama / yeniden tasarlama / belirleme üzerinde çalışıyorsa - Şirket aşağıdaki iki resmi ve iki cümleyi kısaltırsa, dikkatli bir şekilde düşündükten ve tartıştıktan sonra - bunların olası kombinasyonları aşağıdaki gibi olun:

1) Resim 1

2) Resim 2

3) Başlık / Cümle 1: 'Hedef SIFIR Kaza Olmalı'

4) Başlık / Cümle 2: 'AMACIMIZ: KAZA YOK'

Kombinasyonlar:

Yukarıdaki örnekte, hangisinin uygun olduğunu görmek için alan kombinasyonlarının varyasyonlarını test ettik. Basitçe söylemek gerekirse, çok değişkenli test var.

Daha teknik ve spesifik olarak, aşağıdaki formül, no. farklı kombinasyonları test etmek için gerekli olan olası kombinasyonlardan bazıları:

(# A Öğesinin Varyasyonları) X (B Öğesindeki # Varyasyonlar)… .. = (Toplam # Varyasyon)

Yukarıdaki örnekte, Başlık için 2 varyasyon ve Görsel için 2 varyasyon vardır.

Dolayısıyla, formüle göre, en iyi varyasyon kombinasyonunu bulmak için aynı anda test edilecek varyasyonların toplam 4 kombinasyonu vardır.

• Çok değişkenli test yapmanın temel amacı, her bir varyasyon kombinasyonunun nihai sistem üzerindeki etkinliğini ölçmek ve belirlemektir.
• Varyasyon kombinasyonlarını sonlandırdıktan sonra, site tarafından yeterli trafik alındığında en başarılı tasarımı belirlemek için test başlatılır.
• Her varyasyon kombinasyonuyla elde edilen sonuçlar, nihai hedefe ulaşmak için hangi tasarımın en uygun olduğunu bulmak için diğerleriyle karşılaştırılır (çoğu durumda Satış ).
• Bu istatistikler, belirli bir değişikliğin yararlı olup olmadığına dair net bir resim sunar.
• Ayrıca, kullanıcının etkileşimi üzerindeki olumlu veya olumsuz etki de analiz edilebilir

Tüm bu sürekli çok değişkenli test süreci, elde edilen sonuçlara göre tasarımı iyileştirme ve bundan dolayı iş hedeflerine ulaşma ( Misal: belirli bir sayfada bir kullanıcı için daha uzun etkileşim süresi) denir Açılış Sayfası Optimizasyonu - daha fazla kullanıcı çekmek ve onları belirli bir sayfada meşgul tutmak.

Bu süreç, büyük ölçüde birden fazla varyasyonla test etmeyi, istatistik toplamayı ve elde edilen değerlere / sonuçlara dayalı değişiklikler yapmayı içerir.

Yalnızca web siteleriyle sınırlı değil, aynı zamanda mobil uygulamalar için çok değişkenli testler de gereklidir. Web siteleri ve mobil uygulamalar, değişken öğelerin kombinasyonlarından oluşur ve bu nedenle, çok değişkenli test, hangi varyasyon kombinasyonlarının en iyi sonucu verdiğini bulmak için yapılır.

Bu, internet pazarlama stratejisinde çok önemli bir rol oynar.

MVT testi türleri:

Trafiğin birden çok varyasyon sürümüne dağıtımına bağlı olarak, çoklu Çok değişkenli test türleri gerçekleştirilebilir:

a) Tam Faktör Testi:

Bir kazanan bulunana kadar web sitesi trafiğini ona yönlendirerek olası her öğe varyasyon kombinasyonunun eşit olarak test edildiği MVT testinin en çok tercih edilen şeklidir. Tüm olası kombinasyonlara eşit bir olasılık verilir. Bu yöntemle ilgili en iyi şey, varsayımların olmaması ve çok güvenilir ve en çok tavsiye edilen kesin sayılara / istatistiklere dayanmasıdır.

Tek kusur trafiktir. Çeşitli kombinasyonların sayısındaki artışla birlikte, verileri analiz etmek ve kazanana karar vermek için çok fazla web sitesi trafiği gerekir.

b) Kesirli veya Kısmi Faktörlü Test:

Ad, tüm varyasyon kombinasyonu sürümlerinin yalnızca bir kısmının web sitesi trafiğine maruz kaldığını gösterdiğinden. En iyi dönüşüm oranını bulmak için geri kalan kombinasyonlarda statik matematiksel hesaplamalar ve analizler yapılır.

Taguchi Yöntemi kesirli faktöryel çok değişkenli testler için en popüler yöntemdir. Bu yöntem, tümü değil, yalnızca varyasyonların bir örneği test edildiğinden daha az doğru bir sonuç verir. Bu yöntemin kazananı analiz etmesi daha az zaman alsa da, sonuç hiçbir zaman Tam Faktörlü testlerde olabileceği kadar doğru kabul edilemez.

c) Uyarlanabilir Çok Değişkenli Test:

Bu, Çok değişkenli teste yeni bir yaklaşımdır. Bu durumda en iyi varyasyon kombinasyon versiyonunu belirlemek için ziyaretçilerin web sayfasındaki gerçek zamanlı tepkileri analiz edilir.

d) Ayrık Seçim:

otomasyon testine sıfırdan nasıl başlanır

Bu yöntem, etkileşim etkilerini ortaya çıkarıyor, örneğin insanların bir satın alma kararı perspektifinden nasıl ödün verdiklerini ortaya koyuyor. Öznitelikleri veya içerik öğelerini sistematik olarak değiştiren karmaşık bir tekniktir.

e) Optimal Tasarım:

Bu yöntem, yinelemeleri ve test dalgasını içerir. Minimum sürede maksimum sayıda reklam öğesi varyasyonunu test etmeye ek olarak, pazarlamacıların bir web sitesinin veya uygulamanın içerik öğelerindeki ilişkileri, etkileşimleri ve sınırlamaları dikkate almasına da izin verir. Bu, en uygun çözümü bulmaya yardımcı olur.

Şimdi önemli bir soruya geçelim: Web pazarlama, Çok Değişkenli testlerle optimize edilebilir mi?

Cevap yankılanan bir “Evet”.

Çok değişkenli testi kullanarak neyin uygulanması gerektiğini ve neyin kaçınılması gerektiğini açıkça belirleyebiliriz. Her şey ziyaretçinin deneyimine odaklanmıştır.

Çok değişkenli test yapılacağı zaman aşağıdaki hususlar dikkate alınır:

# 1. Çok değişkenli test için ön koşul şudur: Pazarlama hedeflerini tanımlayın veya web sitesi için hedefleri inceleyin. Aşağıda birkaç örnek verilmiştir:

• Reklam vererek, ürün satarak, tıklamalar için ödeme yaparak maksimum gelir / kar elde edin.
• Müşteride marka bilinirliği yaratın
• Harcamalardan tasarruf edin - örneğin: Kullanıcıları kişisel hizmette çevrimiçi yerine SSS aracılığıyla self servis hizmete yönlendirin.

#iki. Yalnızca, organizasyonun pazarlama hedeflerini gerçekten hedefleyen şeyler test edilmelidir.

# 3. Yalnızca pazarlama hedeflerini doğru bir şekilde ölçecek öğeleri seçin.

Örnekler şunlar olabilir:

• Daha fazla para kazanmak için, bir kaydı tamamlamak veya kaydolmak için 'Şimdi Satın Al' / 'ödeme' / akışlar gibi seçenekleri içeren sayfalara odaklanılmalıdır.
• Ziyaretçiler ve tanıtım için farkındalık yaratmak için, 'bir arkadaşa gönderin' / 'bir arkadaşa önerin' / 'paylaşın' vb. Kullanışlı olabilir
• Tasarruf için, teşekkür sayfalarına yönlendiren SSS, yardım, iletişim, arama, 'Sepete Ekle' tıklamaları gibi unsurlara odaklanılabilir.

Çok Değişkenli Test Nasıl Yapılır

1. Bir Problem Tanımlayın

İlk adım sorunu tanımlamaktır. Bu size web siteniz veya uygulamanız için iyileştirme kapsamı verir. Örneğin, sorun, web sitesi ziyaretçilerinin neden indirme düğmesine tıklamaması gibi herhangi bir şey olabilir.

2. Hipotezi Formüle Edin

Web sayfasını iyileştirmek için bir hipotez oluşturun. Örneğin, hipotez, görünürlüğü çekici olmadığı için müşterilerin indirme düğmesini tıklamaması olabilir. Yani, çekici hale getirerek, indirmelerde artış olacaktır.

3. Varyasyonlar Oluşturun

Faktörleri seçin ve varyasyonlar oluşturun. İki faktörün 'İndir' başlığı ve 'PDF üreticisi' bağlantısı olduğunu varsayalım. Örnek olarak, 12'nin altında varyasyonumuz var:

4. Örnek büyüklüğünüzü belirleyin

Her sayfada kaç ziyaretçinin gerekli olduğunu, testi ne kadar süreyle çalıştırmanız gerektiğini, kaç varyasyona sahip olduğunuzu ve istatistiksel önemi öğrenin.

5. Araçlarınızı test edin

Testi çalıştırmaya başlamadan önce her şeyi test edin (esas olarak web sayfanız / uygulamanız iyi çalışıyor mu), böylece hiçbir şey test sonuçlarınızı zehirlemesin.

6. Trafiği sürmeye başlayın

Trafiği varyasyonlarınıza yönlendirmeye başlayın.

7. Sonuçlarınızı analiz edin

Testi önemli bir süre boyunca gerçekleştirdikten sonra, analiz edilecek sonuçları alırsınız. Aşağıda bir örnek gösterilmiştir:

Güven düzeyi% 95 ve üzerinde olanlar istatistiksel olarak anlamlı sonuçlardır.

8. Sonuçlarınızdan öğrenin

bilgisayar işletim sistemi nedir

Bu son ve önemli bir adımdır. Çok değişkenli testten web sayfalarınız / uygulamanız ve ziyaretçileri hakkında bilgi edinebilirsiniz. Bu öğrenmeyi gelecekteki testler için kullanabilirsiniz.

Uyarı kelimesi - Çok değişkenli test gerçekleştirirken aşağıdaki hususlara dikkat edin:

Kaçınılması gereken hatalar

1. Yanlış varyant seçimi . Örneğin başlık metninin yazı tipi boyutunu, rengini ve stilini aynı anda varyasyon kombinasyonunun bir versiyonu altında değiştirdiğimizi varsayalım. Bu durumda, başlığın hangi varyasyonunun (yazı tipi boyutu, rengi veya stili) ziyaretçinin farklı tepki vermesine neden olduğu hakkında alınan verilerden analiz etmek zor olacaktır.
2. Çok değişkenli bir test çalıştırmasının süresi çok kısa . Test çalıştırmasını erken sonlandırmak ve kazananı analiz etmek için küçük bir veri aralığı seçmek geçersiz istatistiklere yol açabilir.
3. Çok değişkenli bir test çalıştırmasının süresi çok uzun. Testin marjinal verileri analiz etmek için çok uzun süre çalıştırılması da çok fazla zaman kaybına neden olur
4. Temel Göstergelerin yanlış anlaşılması. Nihai hedefle ilgisiz veya önemsiz olan bu göstergelerin değişken kombinasyonuna odaklanmak, analiz etmek ve izlemek
5. Yalnızca birkaç Temel Performans göstergesi tanımlanırken diğerleri izlenmez
6. Bir web sayfasına gelen ziyaretçi trafiğinin türüne karar verme. Tüm ziyaretçiler aynı olmadığı için bu çok riskli ve sorunlu olabilir.
7. Sonuçları analiz etmemek ve sitede doğru değişiklikleri yapmak.

Yapılacaklar ve Yapılmayacaklar

Yukarıdaki listeden bir özet yapılması ve yapılmaması gerekenler olabilirdi:

Yapılmaması Gerekenler:

Teste çok fazla değişken eklemeye çalışmayın. Test edilecek değişken sayısı arttıkça; kombinasyonlar ne kadar büyük olursa, bu da önemli istatistikleri toplamak için daha fazla trafik gerektiği anlamına gelir.

Yapılması gerekenler:

1. Tüm varyasyon kombinasyonu sürümlerini önizleyin Bazıları uyumsuz veya mantıksız olabileceğinden test çalıştırmasına başlamadan önce. Örneğin, değişken kombinasyonlarından biri 'Abonelikte% 50 indirim' diyen Başlık ve 'Ücretsiz abonelik' yazan kapatma düğmesidir. Böyle olanlar kaldırılmalıdır.

2. Kombinasyon versiyonlarının dönüşüm oranı üzerindeki etkisine karar verin. Yalnızca dönüşüm oranı üzerinde daha yüksek etkiye sahip olan kombinasyonları dahil etmek iyi bir fikirdir.

3. Önemli istatistiksel veriler toplamak için web sayfası trafiğini tahmin edin. Test çalıştırmasına başlamadan önce, web sayfası trafiği hakkında net bir fikre sahip olmak daha iyidir. Bir web sayfasının günde yalnızca 100-200 ziyaretçisi varsa, yalnızca çok değişkenli testi yürütmek için birkaç değişkeni dikkate almalıyız.

Lehte ve aleyhte olanlar

Şimdiye kadar, çok değişkenli testin ne olduğunu, nasıl yapıldığını, hataları, faktörleri, yapılması ve yapılmaması gerekenler vb. Gördük. Şimdi, bazılarına bakalım. Artıları ve Eksileri ondan:

Artıları:

1. Değişkenlerin veya öğelerin dönüşüm oranı üzerindeki etkisinin daha iyi kavranması ve anlaşılması Daha Fazla Trafik, daha fazla istatistiksel veriye yol açar ve bu da nihai hedefe ulaşmak için en iyi değişken kombinasyonu açısından daha iyi analiz ve karar vermeye yol açar.
2. Tasarım ve düzen değişiklikleri açısından çok değişkenli test esnektir.

Eksileri:

1. Çok değişkenli test çalıştırmalarının tamamlanması daha uzun sürer.
2. Önemli istatistikler almak için çok sayıda web sayfası trafiği gerekir.
3. Test çalıştırmaları ayarlamak daha karmaşık.
4. Test çalıştırması için daha fazla sayıda değişken kombinasyon versiyonu gerektirir.

A / B Testi

Çok değişkenli testlerin her şeyin kısa bir listesi olduğu için, web sayfası optimizasyonunu gerçekleştirmek için yapılabilecek çeşitli testlerin sonu yoktur ve mevcut başka bir popüler yöntem de A / B testi .

A / B testi nedir?

( görüntü kaynak)

A / B testi bazen şu adla da bilinir: Bölünmüş Test . Ancak, bölünmüş test farklıdır. Bu eğitimin sonraki bölümünde aralarındaki farkı göreceğiz.

A / B testinde, aynı web sayfasının iki sürümü eşit miktarda web sayfası trafiğiyle test edilir. Maksimum sayıda dönüşüm alan sürüm, nihai kazanandır. Bu yeni sürüm kesinlikle dönüşüm oranını artırıyor.

A / B Bölünmüş Test Örneği:

Anlayalım A / B testinin küçük bir örnekle çalışması :

Yukarıdaki görüntü, Güvenlik bilinci için bir web sayfasıdır.

Bu resim, ' Teste katılın ve heyecan verici ödüller kazanın Bu orijinal web sayfası 'A Versiyonu' olarak kabul edilir. Artık 'B sürümü', düğmenin Griden Kırmızıya değişen bir renk değişikliğiyle tasarlandı.

Bu, aşağıdaki resimde gösterilmektedir:

Canlı web sayfası trafiği her iki sürüme de yönlendirilir. Yeterli sayıda ziyaretçi sınava girdikten sonra ve alınan istatistiksel veriler ile hangi versiyonun dönüşüm oranı üzerinde daha yüksek etkiye sahip olduğu kolaylıkla belirlenebilir.

Yukarıdaki örnekte, ' Teste katılın ve heyecan verici ödüller kazanın 'Kırmızı renkli', düğmeye basıp eski Gri düğmeden daha fazla ziyaretçi çekti.

Böylece, web sayfasının daha fazla geliri artırmak için nihai hedefine ulaşıldı.

Artıları ve Eksileri A / B testleri:

Artıları:

1. Web sayfası optimizasyonu için deneyler oluşturmanın kolay ve basit yöntemi.
2. Küçük web sayfası trafiğinde bile güvenilir ve doğru sonuçlar kolayca belirlenebilir.
3. Testler çok hızlı bir şekilde gerçekleştirilebilir ve nihai hedefe ulaşmak için istatistiksel veriler analiz edilebilir.
4. Herhangi bir teknolojiye pek bağlı değil.
5. Herhangi bir web sayfasının düzeni, içeriği ve tasarımındaki değişiklikler için daha uygun.

Eksileri:

1. Bir web sayfasında aynı anda yalnızca birkaç değişiklik yapılabilir veya sınırlı sayıda değişiklik yapılabilir.
2. Bir web sayfasında bulunan farklı değişkenlerin birbirleri üzerindeki etkisini belirlemek mümkün değildir.

Karşılaştırma Tablosu:

A / B testi ve Çok Değişkenli Test ile Bölünmüş test karşılaştırması

A / B testi, çok değişkenli test ve bölünmüş test, UX (Kullanıcı deneyimi) varyant testinin üç ana türüdür. Birbirlerinden ne kadar farklı olduklarını görelim.

Aşağıdaki iki resim size A / B Testi ve Çok Değişkenli test arasında çok iyi bir açıklayıcı karşılaştırma sunar.

Çok Değişkenli Test

Bölünmüş Test:

Burada bölünmüş URL testi olarak bilinen, A / B testinden çok daha karmaşık olan ve aşağıdakileri içeren başka bir varyantımız var: sunucu tarafı değişiklikler , birbirine karşı test edilmiş iki farklı web sayfamızın olduğu yerde. Bu tür testler, tasarım ekibinin hangisinin daha iyi çalışacağına karar vermesi gereken açılış sayfalarında işe yarar.

A / B / Bölme / Çok Değişkenli Test araçları

Bu üç tip UX testi için piyasada pek çok araç bulunmaktadır. Burada keşfedebileceğiniz en iyi birkaç adımı vereceğim. Bunlar Google Optimize, Optimizely, VMO, Qubit, Maxymiser ve AB Tasty'dir.

Sonuç :

Her iki yöntem de, A / B ve Çok değişkenli test, dönüşüm oranını artırır, performansı iyileştirir ve Web Sayfalarını ve uygulamaları optimize eder. Her ikisi de kendilerine göre faydalıdır ve kendilerine özgü eksiklikleri ve zorlukları da vardır - hangi yöntemin ihtiyaca en uygun olduğunu belirlemek ve analiz etmek bize kalmıştır.

Biz, test uzmanları esas olarak Çok Değişkenli veya A / B testlerini uygulamak için yapılan değişikliklerin test edilmesine dahil oluyoruz. Bu değişiklikler yapıldıktan ve test edildikten sonra, pazarlama veya işletme ekibi tarafından sonuçları toplamak için üretim ortamında çalıştırılabilir.

Bu nedenle, test uzmanlarının bu değişiklikleri çok dikkatli bir şekilde test etmeleri çok önemlidir, aksi takdirde nihai sonuçlar yanlış olur ve bu çoğu zaman doğrudan iş geliriyle ilgili olduğu için büyük iş kayıplarına neden olur.

Önerilen Kaynaklar

• En İyi Yazılım Test Araçları 2021 (QA Test Otomasyon Araçları)
• Primer e-Kitap İndirmeyi Test Etme
• Statik Test ve Dinamik Test - Bu İki Önemli Test Tekniği Arasındaki Fark
• HP LoadRunner Öğreticileriyle Yük Testi
• Masaüstü, İstemci Sunucu Testi ve Web Testi arasındaki fark
• Gama Testi nedir? Son Test Aşaması
• Uyumluluk Testi (Uygunluk testi) nedir?
• Yazılım Testi QA Yardımcısı İşi