Performance Analysis of ChatGPT-3.5, Copilot and Gemini on Multiple Choice Questions on Ocular Inflammation and Uveitis: The Effect of Language Differences: a Cross-Sectional Research

Abstract

Amaç: Ücretsiz erişim sağlanabilen ChatGPT-3.5, Copilot ve Gemini yapay zekâ sohbet botlarının oküler inflamasyon ve üveit alanındaki çoktan seçmeli sorulardaki başarısının soruların dil farklılığına bağlı olarak değişimlerini değerlendirmektir. Gereç ve Yöntemler: Oküler inflamasyon ve üveit ile ilgili 36 soru çalışmaya alındı. Her soru sertifikasyonlu çevirmen tarafından Türkçeye çevrildikten sonra hem İngilizce hem Türkçe versiyonları yapay zekâ programlarına uygulandı. Sorular cevap anahtarı ile karşılaştırılarak doğru ve yanlış olarak gruplandırıldı. Doğru cevaplama düzeyleri istatistiksel olarak karşılaştırıldı. Bulgular: İngilizce sorulan sorulara ChatGPT-3.5, Copilot ve Gemini sırası ile %63,9, %63,9 ve %50 oranında doğru cevap verdi. Türkçe sorulara ChatGPT-3.5, Copilot ve Gemini sırası ile %52,8, %52,8 ve %66,7 oranında doğru cevap verdi. ChatGPT-3.5, Copilot ve Gemini İngilizce ve Türkçe sorulan soruların sırası ile %22,2'sine, %30,6'sına ve %25'ine farklı cevaplar üretti. ChatGPT-3.5'in farklı cevaplar ürettiği soruların %75'i; Copilot'un farklı cevaplar ürettiği soruların %63,6'sı; Gemini'nin farklı cevaplar ürettiği soruların %22,2'si İngilizce sorulduğunda doğru cevaplanmışken Türkçe sorulduğunda yanlış cevaplandı. Yapay zekâ programları İngilizce ve Türkçe soruları cevaplamada farklı doğru cevap oranına sahip olsa da başarıları arasında istatistiksel olarak anlamlı düzeyde bir fark gözlenmedi (p>0,05). Sonuç: Yapay zekâ programları her ne kadar üvea alanında umut vadetse de bilgi düzeyleri ve dil çeviri, algılama ve cevap verebilme kabiliyetlerinin geliştirilmeye ihtiyacı vardır.

Ähnliche Arbeiten