Döngüdeki insan: onay mı, denetim mi, yoksa vitrin mi?
"Nihai kararı insan veriyor" cümlesi çoğu otonom sistemde doğru ama anlamsız. Çünkü insanın gerçekten karar verebilmesi için karara yetecek bilgiyi ve zamanı da vermek gerekiyor.
Otonom sistem satan hemen herkes aynı güvenceyi veriyor: döngüde bir insan var, nihai kararı o veriyor.
Bu cümle teknik olarak doğru olabilir ama pratikte üç farklı şey anlatıyor, ve üçü arasındaki fark ürünün gerçekten güvenli olup olmadığını belirliyor.
Üç farklı insan
Onaylayan insan. Sistem duruyor, insan bakıyor, devam ediyor. Gerçek bir kapı — ama yalnızca insanın hayır diyebileceği kadar bilgisi varsa.
Denetleyen insan. Sistem çalışmaya devam ediyor, insan izliyor ve gerekirse müdahale ediyor. Bu, dikkat gerektiren bir rol ve dikkat tükeniyor.
Vitrindeki insan. Adı sorumlu olarak yazılı ama pratikte hiçbir şeyi durdurmuyor. Ekranda bir onay düğmesi var, kimse okumadan basıyor.
Üçüncüsü en tehlikelisi çünkü ilk ikisi gibi görünüyor. Sorumluluk atanmış, kutu işaretlenmiş, ama karar aslında verilmiyor.
Onay yorgunluğu bir tasarım hatası
Bir sistem günde iki yüz onay istiyorsa, ikinci haftada hepsi otomatik onaylanıyor. Bu insanın tembelliği değil — sistemin ondan yapamayacağı bir şey istemesi.
Doğru tasarım, onay sayısını azaltmak ve kalanları anlamlı kılmak. Rutin olanı otomatikleştir, sıra dışı olanı insana getir. Ve insana getirdiğinde, kararı verebilmesi için gereken bağlamı da getir: ne değişiyor, neden, geri alınabilir mi.
Onay ekranında "devam edilsin mi?" yazan bir düğme, karar değil ritüel.
İnsanın hayır diyemediği bir onay adımı, güvenlik değil sorumluluk aktarımıdır.
Geri alınabilirlik onayı gereksiz kılar
En işe yarayan içgörü şu: her karar aynı ağırlıkta değil, çünkü her karar aynı ölçüde geri alınabilir değil.
Geri alınabilir bir işlem için onay istemek zaman kaybı — bırak yapsın, yanlışsa geri al. Geri alınamayan bir işlem için onay şart.
Bu ayrım, otonomi seviyesini bir ürün ayarı olmaktan çıkarıp işlem bazlı bir karara dönüştürüyor. Bir ajan yüz dosya düzenleyebilir, çünkü sürüm kontrolü var. Ama bir e-posta gönderemez, çünkü geri alınamıyor.
Yani asıl soru "ne kadar otonom" değil — "hangi işlem geri alınamıyor".
Müdahale edebilmek, izleyebilmekten farklı
Son nokta: denetleyen insanın gerçekten müdahale edebilmesi için bir durdurma yolu olmalı ve o yolun her zaman çalıştığından emin olunmalı.
Bir sistem hızlı çalışıyorsa, insan fark ettiğinde iş çoktan bitmiş oluyor. O durumda denetim bir illüzyon — sonradan rapor okumak, müdahale değil.
Bunu çözmenin yolu ya sistemi yavaşlatmak ya da kritik noktalarda doğal duraklar koymak. İkisi de maliyetli ve ikisi de bazen doğru cevap. Yanlış olan tek şey, insanın orada olduğunu söyleyip ona gerçekten bir düğme vermemek.