Bir tahmin kendi yanıldığını söylemiyorsa, tahmin değil iddiadır

Tahmin üreten her sistemin iki çıktısı var: tahminin kendisi ve o tahmine ne kadar güvenildiği. İkincisi genelde bir sayı olarak veriliyor ve genelde yanlış okunuyor.

Bir model yüzde doksan iki dediğinde, bunun anlamlı olması için şu doğru olmalı: modelin yüzde doksan iki dediği yüz durumdan doksan ikisinde haklı çıkması. Buna kalibrasyon deniyor, ve çoğu sistemde ölçülmüyor bile.

Ölçülmediğinde ne oluyor? Aşağı akıştaki her karar, anlamı bilinmeyen bir sayıya dayanıyor.

Doğruluk yanlış metrik

Tahmin kalitesini tek bir doğruluk oranıyla anlatmak, gecikmeyi ortalamayla anlatmaya benziyor — teknik olarak bir bilgi, pratikte yanıltıcı.

Nadir bir olayı tahmin ediyorsan, hiçbir zaman "evet" demeyen bir model yüksek doğruluk alıyor. Bin işlemden biri sahteyse, hepsine temiz diyen sistem yüzde doksan dokuz doğru — ve tamamen işe yaramaz.

Doğru soru şu: hangi hatayı yapmayı tercih ediyorsun? Yanlış alarm mı, kaçırılan vaka mı? İkisinin maliyeti hiçbir zaman eşit değil, ve eşik bu maliyet farkına göre seçiliyor — model tarafından değil, ürün tarafından.

Eşiği seçmek bir makine öğrenmesi kararı değil. Hangi hatanın kime pahalıya patladığına dair bir karar.

Bilmediğini bilmek

En değerli davranış, modelin cevap vermeyi reddedebilmesi.

Bir sınıflandırıcı her girdiye bir etiket veriyor — eğitim verisine hiç benzemeyen bir girdiye bile. Ve o etiket, güven skoru yüksek olsa bile temelsiz olabiliyor, çünkü model "bu girdi bana yabancı" diyecek bir mekanizmaya sahip değil.

Pratikte işe yarayan kurgu, bir kaçınma bölgesi bırakmak: belirli bir güven aralığının altındaki durumlar otomatik karara girmiyor, insana ya da daha pahalı bir sürece gidiyor. Sistem daha az karar veriyor ama verdiği kararlar daha güvenilir oluyor.

Bu, döngüdeki insan yazısında anlattığım şeyle birleşiyor — insana getirilecek vakaları seçmenin en iyi yolu, modelin kendi belirsizliği.

Veri kayar, model kalır

Üçüncü mesele zaman. Bir model dünün verisiyle eğitiliyor, yarının verisiyle çalışıyor.

Kullanıcı davranışı değişiyor, sahtekârlık yöntemleri değişiyor, ürünün kendisi değişiyor. Model aynı kalıyor ama girdi dağılımı kayıyor, ve performans sessizce düşüyor. Sessizce, çünkü model hâlâ güvenle cevap veriyor.

Bunu yakalamanın yolu tahminleri değil, tahmin ile gerçekleşen arasındaki farkı izlemek. Yani her tahminin sonucunu kaydetmek ve geriye dönük ölçmek. Sonucu hiç kaydedilmeyen bir tahmin sistemi, kendi bozulduğunu asla öğrenemiyor.

Karar mı, öneri mi

Son ayrım en önemlisi: tahmin bir kararı otomatik tetikliyor mu, yoksa bir öneri olarak mı sunuluyor?

İkisi tamamen farklı ürünler ve ikisinin hata toleransı farklı. Otomatik karar veren bir sistemde yanlış tahminin bedelini kullanıcı ödüyor. Öneri sunan bir sistemde, kullanıcı hâlâ karar merciinde.

Ve bu ayrımı geri alınabilirlik belirliyor. Geri alınabilir bir işlemi tahmine dayanarak otomatikleştirebiliyorsun. Geri alınamayan bir işlem için ise en iyi model bile yeterli değil — çünkü mesele modelin ne kadar iyi olduğu değil, yanıldığında ne olacağı.