Sayı yükseldi. Peki senin yüzünden mi?
A/B testi, ürün kararlarında nedenselliğe ulaşmanın en ucuz yolu. Ama testin kendisi doğru kurulmadığında, elde ettiğin şey gerçeğin değil rastlantının ölçümü.
Bir özelliği yayınladın, dönüşüm oranı yükseldi. Bu, özelliğin işe yaradığı anlamına gelmiyor.
Aynı hafta bir kampanya vardı. Mevsim değişti. Rakip bir ürün kesinti yaşadı. Trafik kaynağı değişti. Bu değişkenlerin hepsi, senin değişikliğinle aynı anda çalışıyor ve hepsi aynı sayıyı hareket ettiriyor.
Nedenselliği ilişkiden ayıran şey, karşılaştırmalı bir grup. A/B testinin bütün amacı bu — aynı dönemde, aynı koşullarda, sadece bir değişkenin farklı olduğu iki grup.
Rastgelelik testin kendisi
En sık yapılan hata bölmeyi rastgele yapmamak.
Kullanıcıları yeni sürüme kayıt tarihine göre, bulundukları ülkeye göre veya "önce yeni kullanıcılarda deneyelim" mantığıyla ayırdığında, iki grup baştan farklı oluyor. Ölçtüğün fark, değişikliğin değil grupların farkı.
Bir detay daha: bölme kararı tutarlı olmalı. Aynı kullanıcı bir gün A, ertesi gün B grubuna düşerse, hem deneyimi bozuluyor hem ölçüm anlamsızlaşıyor. Atama kullanıcı kimliğinden deterministik olarak türetilmeli.
Erken bakmak sonucu değiştirir
İkinci ve en pahalı hata: test devam ederken sonuca bakıp "anlamlı çıktı" deyip durdurmak.
Rastgele iki grup arasındaki fark, test boyunca dalgalanıyor. Yeterince sık bakarsan, bir noktada mutlaka anlamlı görünen bir fark yakalıyorsun. Orada durdurursan, ölçtüğün şey gerçek etki değil, o anki gürültü.
Doğrusu örneklem büyüklüğünü ve süreyi önceden belirlemek. Ne kadar bir farkı yakalamak istiyorsun, ne kadar hata payına razısın — bu iki cevap testin süresini veriyor. Süre dolmadan bakmak serbest, karar vermek değil.
Testi ne zaman durduracağına, test bittikten sonra karar veriyorsan, aslında test yapmıyorsun.
Neyi ölçtüğün, testten önemli
Üçüncüsü metrik seçimi.
Bir değişiklik tıklamayı artırıp memnuniyeti düşürebiliyor. Bildirim sıklığını artırdığında kısa vadede etkileşim yükseliyor, uzun vadede kullanıcı gidiyor. Test doğru kurulmuş ama yanlış şeyi ölçüyor.
Bu yüzden her testin bir birincil metriği ve birkaç koruma metriği olmalı. Birincil metrik iyileşirken koruma metriklerinden biri bozuluyorsa, sonuç "kazandı" değil "takas var".
Ve birincil metrik önceden seçilmeli. Sonradan en iyi görünen sayıyı birincil ilan etmek, en yaygın kendini kandırma biçimi.
Herkes bağımsız değil
Dördüncüsü, A/B testinin gizli varsayımı: bir kullanıcının deneyimi diğerini etkilemiyor.
Bu, bir sosyal üründe doğru değil. Xaron gibi bir platformda A grubundaki kullanıcı, B grubundaki arkadaşıyla aynı kanalda. Yeni bir özellik ikisinin etkileşimini değiştiriyor ve gruplar birbirine karışıyor.
Pazaryerlerinde de aynı: Sperare'de danışman görünürlüğünü artıran bir değişiklik, test grubundaki danışmana kontrol grubundan iş kazandırıyor. Toplam iş sabit olduğu için, birinin kazancı diğerinin kaybı — ve test, gerçekte olmayan bir büyüme gösteriyor.
Bu durumlarda bölmeyi kullanıcı yerine daha büyük birimden yapmak gerekiyor: topluluk bazında, şehir bazında, zaman dilimi bazında. Daha az istatistiksel güç, ama ölçtüğün şey gerçek.
Test edilemeyen kararlar
Son olarak: her karar test edilemiyor ve bunu kabul etmek gerekiyor.
Nadir olayları etkileyen değişiklikler, uzun vadeli etkileri olan kararlar, güvenlik ve gizlilik tercihleri. Bunlarda örneklem yetmiyor ya da beklemek maliyetli.
Orada dürüst yol, test yapıyormuş gibi yapmak değil — kararı gerekçesiyle vermek ve sonucunu izlemek. Ölçemediğin bir kararı, ölçmüş gibi sunmak en kötüsü.