Performance of chat generative pretrained transformer and bard on the questions asked in the dental specialty entrance examination in turkey regarding bloom’s revised taxonomy

Basit Öğe Kaydı
dc.authorid0000-0001-6190-2057en_US
dc.authorid0000-0002-0591-4464en_US
dc.contributor.authorTurunç Oğuzman, Rana
dc.contributor.authorYurdabakan, Zeliha Zuhal
dc.date.accessioned2024-02-24T07:39:08Z
dc.date.available2024-02-24T07:39:08Z
dc.date.issued2024en_US
dc.departmentFakülteler, Diş Hekimliği Fakültesi, Protetik Diş Tedavisi Ana Bilim Dalıen_US
dc.description.abstractObjective: This study aimed to compare the performance of chat generative pretrained trans- former (ChatGPT) (GPT-3.5) and Bard, 2 large language models (LLMs), through multiple-choice dental specialty entrance examination (DUS) questions. Methods: Dental specialty entrance examination questions related to prosthodontics and oral and dentomaxillofacial radiology up to 2021, excluding visually integrated questions, were prompted into LLMs. Then the LLMs were asked to choose the correct response and specify Bloom’s taxonomy level. After data collection, the LLMs’ ability to recognize Bloom’s taxonomy levels and the correct response rate in different subheadings, the agreement between LLMs on correct and incorrect answers, and the effect of Bloom’s taxonomy level on correct response rates were evaluated. Data were analyzed using McNemar, Chi-square, and Fisher–Freeman–Halton exact tests, and Yate’s continuity correction and Kappa agreement level were calculated (P < .05). Results: Notably, the only significant difference was observed between ChatGPT’s correct answer rates for oral and dentomaxillofacial radiology subheadings (P = .042; P < .05). For total prosth- odontic questions, ChatGPT and Bard achieved correct answer rates of 35.7% and 38.9%, respec- tively, while both LLMs achieved a 52.8% correct answer rate for oral and dentomaxillofacial radiology. Moreover, there was a statistically significant agreement between ChatGPT and Bard on correct and incorrect answers. Bloom’s taxonomy level did not affect the correct response rates significantly. Conclusion: The performance of ChatGPT and Bard did not demonstrate a reliable result on DUS questions, but considering rapid advancements in these LLMs, this performance gap will probably be closed soon, and these LLMs can be integrated into dental education as an interactive tool.en_US
dc.description.abstractAmaç: Bu çalışmanın amacı, iki büyük dil modeli (LLM) olan ChatGPT (GPT-3,5) ve Bard’ın Diş Hekimliğinde Uzmanlık Eğitimi Giriş Sınavındaki (DUS) çoktan seçmeli sorular üzerindeki perfor- mansını karşılaştırmaktır. Yöntemler: Görsel içerikli sorular hariç olmak üzere, 2021 yılına kadar olan protetik diş tedavisi ve ağız, diş ve çene radyolojisi ile ilgili DUS soruları LLM’lere sorulmuştur. Daha sonra LLM’lerden doğru yanıtı seçmeleri ve Bloom’un taksonomi düzeyini belirtmeleri istenmiştir. Veriler toplandık- tan sonra, LLM’lerin Bloom taksonomi düzeylerini belirleyebilme becerileri ve farklı alt başlıklardaki doğru yanıt oranları, LLM’ler arasında doğru ve yanlış yanıtlara ilişkin uyumu ve Bloom taksonomi düzeyinin doğru yanıt oranları üzerindeki etkisi değerlendirilmiştir. Veriler Mc Nemar, Ki-kare ve Fisher Freeman Halton Exact testleri kullanılarak analiz edilmiştir, Yate’s Continuity Düzeltmesi ve Kappa uyum düzeyi hesaplanmıştır (P < .05). Bulgular: ChatGPT’nin doğru cevap oranları arasında tek anlamlı fark ağız, diş ve çene radyolojisi alt başlıkları arasında gözlenmiştir (P: .042; P < .05). Toplam protez soruları için ChatGPT ve Bard sırasıyla %35,7 ve %38,9 oranında doğru cevap verirken, her iki LLM de ağız, diş ve çene radyolojisi için %52,8 oranında doğru cevap vermiştir. Ayrıca, ChatGPT ve Bard arasında doğru ve yanlış cevaplar konusunda istatistiksel olarak anlamlı bir uyum saptanmıştır. Bloom’un taksonomi düzeyi doğru yanıt oranlarını anlamlı derecede etkilememiştir. Sonuç: ChatGPT ve Bard, DUS soruları üzerinde güvenilir bir performans göstermemiştir, ancak LLM’lerdeki hızlı gelişmeler göz önünde bulundurulduğunda, performans açıkları muhtemelen yakında kapanacak ve bu LLM’ler interaktif bir araç olarak diş hekim- liği eğitimine entegre edilebilecektir.en_US
dc.identifier.citationTurunç Oğuzman, R., Yurdabakan, Z. Z. (2024). Performance of chat generative pretrained transformer and bard on the questions asked in the dental specialty entrance examination in turkey regarding bloom’s revised taxonomy. Current Research in Dental Sciences, 34(1), 25-34. 10.5152/CRDS.2024.23261en_US
dc.identifier.endpage34en_US
dc.identifier.issn2822-2555
dc.identifier.issue1en_US
dc.identifier.scopus2-s2.0-85184450905
dc.identifier.scopusqualityQ4
dc.identifier.startpage25en_US
dc.identifier.urihttps://hdl.handle.net/20.500.12939/4610
dc.identifier.volume34en_US
dc.indekslendigikaynakScopus
dc.institutionauthorTurunç Oğuzman, Rana
dc.institutionauthorYurdabakan, Zeliha Zuhal
dc.language.isoen
dc.publisherAVESen_US
dc.relation.ispartofCurrent Research in Dental Sciences
dc.relation.isversionof10.5152/CRDS.2024.23261en_US
dc.relation.publicationcategoryMakale - Ulusal Hakemli Dergi - Kurum Öğretim Elemanıen_US
dc.rightsinfo:eu-repo/semantics/openAccessen_US
dc.subjectArtificial intelligenceen_US
dc.subjectBarden_US
dc.subjectChatGPTen_US
dc.subjectDental educationen_US
dc.subjectLarge language modelsen_US
dc.subjectMultiple choice questioningen_US
dc.subjectChatGPTen_US
dc.subjectBarden_US
dc.subjectYapay zekaen_US
dc.subjectBüyük dil modellerien_US
dc.subjectDiş hekimliği eğitimien_US
dc.subjectÇoktan seçmeli soruen_US
dc.titlePerformance of chat generative pretrained transformer and bard on the questions asked in the dental specialty entrance examination in turkey regarding bloom’s revised taxonomy
dc.title.alternativeTürkiye’deki diş hekimliğinde uzmanlık eğitimi giriş sınavı sorularına ilişkin ChatGPT ve Bard’ın Bloom’un revize edilmiş taksonomisine dayalı performansı
dc.typeArticle

Dosyalar

Orijinal paket
Listeleniyor 1 - 1 / 1
Küçük Resim
İsim:
10.5152-CRDS.2024.23261-3703497.pdf
Boyut:
12.16 MB
Biçim:
Adobe Portable Document Format
Açıklama:
Tam Metin / Full Text
İndir
Lisans paketi
Listeleniyor 1 - 1 / 1
[ X ]
İsim:
license.txt
Boyut:
1.44 KB
Biçim:
Item-specific license agreed upon to submission
Açıklama:
İndir

Koleksiyon

Scopus İndeksli Yayınlar Koleksiyonu
Diş Hekimliği Fakültesi Yayın Koleksiyonu