NYC’nin iş sohbet robotunun ‘tehlikeli derecede yanlış’ bilgiler verdiği bildiriliyor!

The Markup tarafından yayınlanan bir rapora göre, New York Belediyesi tarafından işletme sahiplerinin ilgili bilgilere erişimine yardımcı olmak üzere kullanıma sunulan bir yapay zeka sohbet robotu, kullanıcıları yasalara aykırı eylemler konusunda yanlış bilgilendiriyor. Kâr amacı gütmeyen yerel haber merkezleri Documented ve The City ile birlikte yayınlanan raporda, chatbot’un konut politikaları, işçi hakları ve diğer konularla ilgili sorulara verdiği yanıtlarda çok sayıda yanlışlık örneği yer alıyor.

Belediye Başkanı Adams’ın yönetimi, Mart 2023’te “şehir hizmetleri ve faydaları için tek durak noktası” olarak başlatılan MyCity portalına bir ek olarak Ekim ayında chatbotu tanıttı. Microsoft’un Azure Yapay Zekası tarafından desteklenen chatbot, mevcut ve gelecek vadeden işletme sahiplerini hedefliyor ve doğrudan şehir yönetiminin sitelerinden gelen “eyleme geçirilebilir ve güvenilir bilgi” kaynağı olarak faturalandırıldı. Ancak bu bir pilot program ve web sitesindeki bir feragatnamede “zaman zaman yanlış, zararlı veya taraflı içerik üretebileceği” belirtiliyor.

The Markup’ın testlerinde chatbot defalarca yanlış bilgi verdi. Örneğin, “Mağazamı nakitsiz hale getirebilir miyim?” sorusuna yanıt olarak, New York City’nin 2020’de nakitsiz mağazaları yasaklamış olmasına rağmen, “Evet, New York’ta mağazanızı nakitsiz hale getirebilirsiniz” yanıtını verdi. Rapora göre chatbot ayrıca işverenlerin çalışanlarının bahşişlerini alıp alamayacağı, ev sahiplerinin 8. bölüm kuponlarını veya kira yardımı alan kiracıları kabul etmek zorunda olup olmadığı ve işletmelerin program değişiklikleri konusunda personeli bilgilendirmek zorunda olup olmadığı gibi konularda da yanlış yanıt verdi. The Markup’a konuşan bir konut politikası uzmanı chatbot’u en kötü ihtimalle “tehlikeli derecede yanlış” olarak nitelendirdi.

Şehir, sohbet botunun hala devam eden bir çalışma olduğunu belirtti. NYC Teknoloji ve İnovasyon Ofisi sözcüsü Leslie Brown Engadget’a yaptığı açıklamada şunları söyledi: “Kentin yapay zeka konusundaki temel güvenilirlik ve şeffaflık ilkeleri doğrultusunda, site kullanıcıları açıkça işaretlenmiş pilot beta ürünün yalnızca işle ilgili içerik için kullanılması gerektiği konusunda bilgilendiriyor, kullanıcılara potansiyel riskler olduğunu söylüyor ve onları hem verilen bağlantılarla yanıtlarını iki kez kontrol etmeye hem de bunları profesyonel tavsiyenin yerine kullanmamaya teşvik ediyor.”

Brown, “Site şimdiden binlerce kişiye zamanında, doğru yanıtlar sağladı ve beta aracının sürekli iyileştirilmesine yardımcı olmak için bir geri bildirim seçeneği sunuyor” dedi. “Kent genelindeki küçük işletmeleri daha iyi destekleyebilmek için bu aracı geliştirmeye odaklanmaya devam edeceğiz.”