Analysis of ChatGPT's Answers to Pedodontics Questions Asked in the Dentistry Specialization Training Entrance Exam: Cross-Sectional Study

Abstract

Amaç: Diş hekimliğinde uzmanlık eğitim giriş sınavında (DUS) sorulan çocuk diş hekimliği sorularına Üretici Ön-Eğitimli Dönüştürücünün [Generative Pre-trained Transformer (ChatGPT)] verdiği yanıtların güvenirliliğini değerlendirmek ve başarı oranını tespit etmektir. Gereç ve Yöntemler: Çalışmada kullanılan yapay zekâ programı ve değerlendirilen DUS çocuk diş hekimliği soruları kamuya açık kaynaklardır ve bu sebeple çalışma için etik kurul onayı gerekmemektedir. Ölçme, Seçme ve Yerleştirme Merkezi'nin resmi internet sitesinde yayınlanmış 2012-2021 yılları arasında gerçekleştirilen 13 adet DUS'ta sorulan toplam 130 çocuk diş hekimliği sorusu (her sınavda 10 adet soru vardır, 3 adedi iptal edilmiştir) çalışmaya dâhil edilmiştir. Çalışmada yapay zekâ programı olarak ChatGPT 3.5 ücretsiz versiyonu kullanılmıştır. 127 adet çoktan seçmeli çocuk diş hekimliği sorusu sırasıyla ChatGPT'ye sorulmuş ve verilen cevaplar kaydedilmiştir. Verilen yanıtların güvenirliliği ve doğruluğu istatistiksel olarak analiz edilmiştir. Bulgular: ChatGPT toplam 127 sorunun 69'una doğru cevap vermiştir ve başarı oranı %54,3 olarak tespit edilmiştir. En yüksek başarı oranı %90 ile 2014 sonbahar sınavında iken, en düşük başarı oranı ise %10 ile 2019-2015 sınavlarında elde edilmiştir. Analizler sonucunda 2014 sonbahar dönemi ve 2020 yılı sorularına ChatGPT'nin istatistiksel olarak anlamlı derecede doğru cevap verdiği bulunmuştur (p<0,05). Farklı zamanlarda sorulan aynı sorulara ChatGPT aynı cevapları vermektedir. Sonuç: ChatGPT'nin DUS çocuk diş hekimliği sorularını yanıtlamada güvenilir bir kaynak olmadığı, başarı oranının beklenenden az ve yapay zekânın verdiği yanıtların tartışmalı olduğu sonucuna varılmıştır. DUS çocuk diş hekimliği soruların yanıtları için ChatGPT kullanan öğrencilerin verilen yanıtları gözden geçirmesi gerektiği ve yanıtlara şüphe ile yaklaşması gerektiği kanaatindeyiz. Yapay zekânın gelişmesi ve başarı oranının artması ile ChatGPT türevi programların diş hekimliği eğitiminde kullanılması daha etkin ve güvenilir olacaktır.

Ähnliche Arbeiten