BMJ Open dergisinde yayımlanan çalışmada, araştırmacılar beş farklı sohbet botuna kanser, aşılar, kök hücre, beslenme ve atletik performans gibi konularda 50 tıbbi soru yöneltti.
Uzmanlar tarafından yapılan değerlendirmede, verilen yanıtların yüzde 20’sinin “yüksek derecede sorunlu”, yüzde 50’sinin “sorunlu”, yüzde 30’unun ise “kısmen sorunlu” olduğu tespit edildi.
Yanıtlar bilimsel dayanaktan yoksun
Araştırma kapsamında botların hiçbirinin tamamen doğru bir referans listesi sunamadığı görüldü. Sohbet botlarının sağladığı kaynakçaların çoğunda yanlış yazar isimleri, çalışmayan bağlantılar veya tamamen uydurulmuş makaleler yer aldı.
Platformlar arasında en düşük performansı yüzde 58 hata oranıyla Grok sergilerken, onu yüzde 52 ile ChatGPT ve yüzde 50 ile Meta AI izledi.
Yapay zekanın özellikle beslenme ve atletik performans gibi internet üzerinde çelişkili bilgilerin yoğun olduğu alanlarda daha fazla hata yaptığı kaydedildi.
Açık uçlu sorular riski artırıyor
Çalışmada, yapay zekanın “doğru mu yanlış mı” şeklindeki kapalı uçlu sorularda daha başarılı olduğu, ancak kullanıcıların günlük hayatta sıkça başvurduğu açık uçlu sorularda hata payının arttığı saptandı. Açık uçlu sorulara verilen yanıtların yüzde 32’si yüksek derecede sorunlu bulundu.
Uzmanlar, dil modellerinin gerçek bilgiye sahip olmadığını, sadece eğitim verilerindeki istatistiksel olasılıklara göre kelime tahmini yaptığını hatırlattı. Bu verilerin içinde hakemli dergilerin yanı sıra forum siteleri ve sosyal medya tartışmalarının da bulunması, hatalı sonuçların temel nedeni olarak gösterildi.
Doğru cevaplara ulaşmak kullanıcı için zor
Nature Medicine dergisinde yayımlanan bir başka çalışma ise ilginç bir veriyi ortaya koydu. Yapay zeka modelleri tıbbi sorulara kendi başlarına yüzde 95 oranında doğru yanıt verebilirken, gerçek kullanıcılar bu araçları kullandığında doğru bilgiye ulaşma oranı yüzde 35’e kadar düştü.
Bilim insanları, bu araçların karmaşık konuları özetlemek veya doktora sorulacak soruları hazırlamak için yardımcı olabileceğini ancak tek başına bir tıbbi otorite olarak kabul edilmemesi gerektiğini vurguladı. Kullanıcılara, yapay zekadan aldıkları sağlık tavsiyelerini mutlaka doğrulamaları ve sunulan kaynakları kontrol etmeleri tavsiye edildi.
