Direksiyonu geri alman gereken üç saniye
Otonom araçtaki en tehlikeli an çarpışma değil — sistemin kontrolü insana geri verdiği an. Ve bu problem, tarladan koda kadar her otonom sistemde aynı şekilde çıkıyor.
Otonom sürüşte üzerine en çok araştırma yapılan konulardan biri devralma: sistem artık devam edemeyeceğine karar veriyor ve kontrolü sürücüye bırakıyor.
Problemin özü şu — sürücü o anda ortama bakmıyor. Sistem çalışırken dikkati başka yerde, ve şimdi ondan saniyeler içinde durumu anlaması, doğru kararı vermesi ve doğru hareketi yapması bekleniyor.
Bu, sistemin en kötü anını en hazırlıksız kişiye devretmek demek.
Sorun uyarı süresi değil
İlk akla gelen çözüm daha erken uyarmak. Faydalı ama yetmiyor, çünkü asıl kayıp zaman değil bağlam.
İnsan direksiyonu tutuyor olsa bile, ortamın zihinsel haritası yok: hangi araç nerede, hangi şeritte, hız farkı ne. Sistem bunu biliyor ama devrederken aktarmıyor — sadece kontrolü bırakıyor.
Aynı şey yazılımda da oluyor. Bir ajan yarım saat çalışıp durduğunda ve "buradan devam et" dediğinde, sana kontrolü veriyor ama bağlamı vermiyor. Ne denedi, neden vazgeçti, hangi varsayımla ilerledi — bunları bilmeden devraldığın iş, sıfırdan başlamaktan yavaş olabiliyor.
Devretmek kontrolü bırakmak değil. Karşı tarafı, karar verebilecek duruma getirmek.
İyi devretme neye benziyor
Otonom sürüş literatüründen çıkan ders basit ve genellenebilir: devretme bir an değil, bir süreç.
Sistem önce durumu bildiriyor, sonra ne yapmaya çalıştığını ve neden duracağını söylüyor, sonra kontrolü bırakıyor — ve bıraktıktan sonra da bir süre yardımcı olmaya devam ediyor.
DRAVION'da bunun karşılığı şu oldu: bir ajan durduğunda çıktısı "yapamadım" değil. Nereye kadar geldiğini, hangi üç yolu denediğini, hangi noktada takıldığını ve elindeki değişikliklerin hangi durumda olduğunu söylüyor. Yarım iş artı net bir rapor, devralınabilir bir şey.
Güven kalibrasyonu
İkinci ders daha ince: insanın sisteme duyduğu güven, sistemin gerçek yeteneğiyle hizalı olmak zorunda.
Fazla güven tehlikeli — sürücü hiç bakmıyor. Az güven ise sistemi işe yaramaz kılıyor; sürekli müdahale eden bir insan, otonomiden fayda görmüyor.
Ve en zor kısmı: güven, sistemin en iyi hâline göre şekilleniyor. Yüz kere doğru yapan bir sistem, yüz birinci sefer yanıldığında kimse hazırlıklı olmuyor. Yani sistem iyileştikçe devralma problemi zorlaşıyor.
Bunun tek çözümü, sistemin kendi belirsizliğini göstermesi. "Bundan eminim" ile "bu tahminim zayıf" arasındaki farkı söylemeyen bir sistem, insanın güvenini kalibre edemiyor.
Kime yazıyorum
Bu konuları otonom araç bağlamında okudum, tarım makineleri tarafında uygulanışını gördüm, şimdi ajanlarda aynı problemi çözüyorum.
Alanlar farklı ama devralma problemi değişmiyor: bir sistem işi yarıda bırakıp insana verdiğinde, o insanın kararı verebilecek durumda olup olmadığı sistemin tasarım sorumluluğu.
Ve bu sorumluluğu almayan her otonom ürün, aslında riski kullanıcıya devrediyor.