Öz
Amaç
Bu çalışmada çeşitli chatbotlarda (yapay zeka robotu) farklı promptlar (istemler) kullanılarak büyük dil modelleri (BDM) ile yapay zeka tarafından üretilen çoktan seçmeli soruların (ÇSS) zorluk seviyesinin, insan tarafından yazılmış sorularla karşılaştırmalı bir şekilde değerlendirilmesi amaçlanmıştır.
Yöntem
Dört BDM tabanlı chatbotta (yapay zeka robotu) iki farklı istem kullanarak obstetrik ve jinekoloji üzerine vaka tabanlı ÇSS’lar oluşturulmuştur. Uzman grubu tarafından incelendikten sonra, ÇSS’lar kadın hastalıkları ve doğum anabilim dalında staj yapan 97 tıp öğrencisine uygulanmıştır. Daha sonra her bir ÇSS için madde (soru) güçlük indeksleri hesaplanmıştır.
Bulgular
Yapay zeka tarafından üretilen soruların ortalama zorluk endeksi 0,30’dur. İstemlerden biri 0,34 zorluk indeksine sahip (zor olarak sınıflandırılan) sorular üretirken, diğeri 0,25’lik daha düşük bir zorluk indeksi (çok zor olarak kabul edilen) ile sonuçlanmıştır. Buna karşılık, insan tarafından yazılan soruların ortalama zorluk endeksi 0,63’tür ve bu da orta düzeyde bir zorluğa işaret etmektedir.
Sonuç
Çalışmamız, tıp eğitiminde yapay zeka tarafından üretilen ÇSS’lar ile insan üretimi olan ÇSS’lar yerine kullanımında karşılaşılabilecek zorlukları vurgulamaktadır. Yapay zeka, soru üretimi açısından umut verici görünmekle birlikte, üretilen soruların genellikle tıp öğrencileri için yüksek zorlukta olduğu gözlemlenmiştir. Bu sonuçlar ölçme değerlendirme gereksinimlerini karşılayabilecek yapay zeka çıktılarına ulaşabilmek için daha detaylandırılmış ve bağlamla uyumlu istemlerin yapılması gereksinimini vurgulamaktadır. Ayrıca, BDM tabanlı chatbotlar verimlilik açısından destek sağlarken, soruların uygunluğunu ve kalitesini sağlamak için uzman incelemesi önemini korumaktadır.
Anahtar Kelimeler: Yapay zeka, büyük dil modelleri, tıp eğitimi, kadın hastalıkları ve doğum
Kaynakça
Pugh D, De Champlain A, Touchie C. Plus ça change, plus c’est pareil: making a continued case for the use of MCQs in medical education. Med Teach. 2019;41:569-77.
Balaha MH, El-Ibiary MT, El-Dorf AA, El-Shewaikh SL, Balaha HM. Construction and writing flaws of the multiple-choice questions in the published test banks of obstetrics and gynecology: adoption, caution, or mitigation? Avicenna J Med. 2022;12:138-47.
Jud SM, Cupisti S, Frobenius W, et al. Introducing multiple-choice questions to promote learning for medical students: effect on exam performance in obstetrics and gynecology. Arch Gynecol Obstet. 2020;302:1401-6.
Çalışkan SA, Demir K, Karaca O. Artificial intelligence in medical education curriculum: An e-Delphi study for competencies. PLoS One. 2022;17:e0271872.
Gordon M, Daniel M, Ajiboye A, et al. A scoping review of artificial intelligence in medical education: BEME Guide No. 84. Med Teach. 2024;46:446-70.
Stadler M, Horrer A, Fischer MR. Crafting medical MCQs with generative AI: a how-to guide on leveraging ChatGPT. GMS J Med Educ. 2024;41:Doc20.
Cheung BHH, Lau GKK, Wong GTC, et al. ChatGPT versus human in generating medical graduate exam multiple choice questions-A multinational prospective study (Hong Kong S.A.R., Singapore, Ireland, and the United Kingdom). PLoS One. 2023;18:e0290691.
Coşkun Ö, Kıyak YS, Budakoğlu Iİ. ChatGPT to generate clinical vignettes for teaching and multiple-choice questions for assessment: a randomized controlled experiment. Med Teach. 2025;47:268-74.
Kıyak YS, Coşkun Ö, Budakoğlu Iİ, Uluoğlu C. ChatGPT for generating multiple-choice questions: Evidence on the use of artificial intelligence in automatic item generation for a rational pharmacotherapy exam. Eur J Clin Pharmacol. 2024;80:729-35.
Laupichler MC, Rother JF, Grunwald Kadow IC, Ahmadi S, Raupach T. Large language models in medical education: comparing ChatGPT- to human-generated exam questions. Acad Med. 2024;99:508-12.
Zuckerman M, Flood R, Tan RJB et al. ChatGPT for assessment writing. Med Teach. 2023;45:1224-7.
Sathe TS, Roshal J, Naaseh A, L’Huillier JC, Navarro SM, Silvestri C. How I GPT it: development of custom artificial intelligence (AI) chatbots for surgical education. J Surg Educ. 2024;81:772-5.
Kıyak YS, Emekli E. ChatGPT prompts for generating multiple-choice questions in medical education and evidence on their validity: a literature review. Postgrad Med J. 2024;100:858-65.
Kıyak YS. ChatGPT’s ability or prompt quality: what determines the success of generating multiple-choice questions. Acad Pathol. 2024;11:100119.
Ngo A, Gupta S, Perrine O, Reddy R, Ershadi S, Remick D. ChatGPT 3.5 fails to write appropriate multiple choice practice exam questions. Acad Pathol. 2024;11:100099.
Kıyak YS. A ChatGPT prompt for writing case-based multiple-choice questions. Rev Esp Educ Med. 2023;4:98-103.
Kıyak YS, Kononowicz AA. Case-based MCQ generator: a custom ChatGPT based on published prompts in the literature for automatic item generation. Med Teach. 2024;46:1018-20.
OpenAI. Case-based MCQ generator [Internet]. United States: ChatGPT; 2024 [cited 2024 Apr 30]. Available from: https://chatgpt.com/g/g-vuyyH0jUp-case-based-mcq-generator
Hugging Face. Hugging Face — Chat [Internet]. United States: Hugging Face; 2024 [cited 2024 Apr 30]. Available from: https://huggingface.co/chat/
Franzen D, Cuddy MM, Ilgen JS. Trusting your test results: building and revising multiple-choice examinations. J Grad Med Educ. 2018;10:337-8.
Tavakol M, O’Brien DG, Sharpe CC, Stewart C. Twelve tips to aid interpretation of post-assessment psychometric reports. Med Teach. 2024;46:188-95.
Masters K. Medical Teacher’s first ChatGPT’s referencing hallucinations: lessons for editors, reviewers, and teachers. Med Teach. 2023;45:673-5.
Kirshteyn G, Golan R, Chaet M. Performance of ChatGPT vs. HuggingChat on OB-GYN topics. Cureus. 2024;16:e56187.
Ozgor BY, Simavi MA. Accuracy and reproducibility of ChatGPT’s free version answers about endometriosis. Int J Gynaecol Obstet. 2024;165:691-5.
Indran IR, Paranthaman P, Gupta N, Mustafa N. Twelve tips to leverage AI for efficient and effective medical question generation: a guide for educators using Chat GPT. Med Teach. 2024;46:1021-6.
