Önerdiğin şeyi tıkladı. Zaten bulacak mıydı?

Bir öneri sistemi kurdun, tıklanma oranı yüksek. Başarılı mı?

Değil — en azından bu sayı tek başına bunu söylemiyor. Çünkü kullanıcının zaten arayacağı, zaten bulacağı şeyi önerdiğinde de tıklanıyor. Popüler olanı öneren bir sistem her zaman iyi görünüyor ve hiçbir şey katmıyor.

Öneri sisteminin gerçek işi, kullanıcının kendi başına ulaşamayacağı şeyi önüne getirmek. Ve bu, tıklanma oranının ölçmediği bir şey.

Popülerlik bir tuzak

Sistemler kendi kendini besliyor. Popüler olan öneriliyor, önerildiği için daha çok tıklanıyor, daha popüler oluyor.

Bu döngü içinde sistem giderek daha "iyi" görünüyor ama giderek daha az iş yapıyor. Yeni içerik, yeni sağlayıcı, küçük topluluk hiç görünmüyor — ve görünmediği için hiç veri üretmiyor, veri üretmediği için de asla önerilmiyor.

Sperare gibi bir pazaryerinde bunun somut bedeli var: yeni kayıt olan bir danışman hiç iş almıyor. Sistem onu önermiyor çünkü geçmişi yok; geçmişi olmuyor çünkü önerilmiyor. Bu bir algoritma sorunu değil, pazaryerinin sağlığı sorunu.

Bir öneri sisteminin en zor işi, kendi ürettiği veriye esir düşmemek.

Soğuk başlangıç bir istisna değil

Klasik anlatımda soğuk başlangıç, sistemin ilk günlerinde yaşanan geçici bir sorun gibi sunuluyor.

Gerçekte hiç bitmiyor. Her yeni kullanıcı, her yeni ürün, her yeni sağlayıcı için tekrar başlıyor. Ve büyüyen bir üründe soğuk başlangıçtaki varlıkların oranı düşmüyor — büyüdükçe her gün daha fazla yeni giriyor.

Bu yüzden çözüm "yeterli veri toplanana kadar bekle" olamıyor. Davranış verisi olmadığında içerik özelliklerine dayanmak — kimin ne yaptığı yerine neyin ne olduğu — geçici değil kalıcı bir bileşen.

Keşif bir maliyet değil, yatırım

Sistem her zaman en iyi bildiğini önerirse, hiçbir zaman daha iyisini öğrenemiyor.

Bir miktar keşif — bazen belirsiz olanı göstermek — kısa vadede tıklanmayı düşürüyor. Ama sistemin öğrenmesini sağlayan tek şey bu. Keşif oranını sıfıra çeken bir ekip, ölçtüğü metriği iyileştirirken sistemin uzun vadeli kalitesini bozuyor.

Buradaki denge bir ürün kararı: kullanıcı deneyiminin ne kadarını öğrenmeye ayırıyorsun. Ve bu kararın rakamla değil gerekçeyle savunulması gerekiyor.

Çeşitlilik ayrı bir hedef

Bir liste, tek tek en iyi on öğeden oluştuğunda genelde kötü bir liste oluyor — çünkü onu da birbirine benziyor.

Kullanıcının aradığı şey listede yoksa, on benzer öneri onu bulmasına yardım etmiyor. Çeşitlilik, isabetten bağımsız olarak optimize edilmesi gereken ayrı bir hedef.

Aynı şey pazaryerinde adalet için de geçerli. Her zaman en yüksek puanlı beş danışmanı göstermek, geri kalan herkesi sistemden çıkarıyor. Rotasyon ve görünürlük payı, algoritmik bir zarafet değil pazaryerinin ayakta kalma koşulu.

Ne zaman öneri, ne zaman arama

Son ayrım: kullanıcı ne istediğini biliyorsa, öneri sistemine ihtiyacı yok — iyi bir aramaya ihtiyacı var.

Öneri, niyetin belirsiz olduğu yerde değerli. Niyetin net olduğu yerde ise araya girdiğinde zarar veriyor: kullanıcı aradığını yazıyor, sistem "bunu da beğenebilirsin" diye başka bir şey gösteriyor.

Çoğu üründe eksik olan şey daha iyi bir model değil. Hangi ekranda öneri, hangi ekranda arama olduğuna dair net bir karar.