DergiPark
Evaluation of AI-Based Chatbots in Responding to Frequently Asked Online Questions About Perthes Disease: A Comparison of ChatGPT-5.1, Gemini 3, DeepSeek V3.2
By Tahsin Olgun Bayraktar, Nazım Erkurt, Ali Yüce and 3 others.
Abstract
ÖzetAmaçlar: Legg–Calvé–Perthes hastalığı, kalıcı sakatlığa yol açabilen ciddi bir ortopedik durumdur. Günümüzde aileler, çevrimiçi sağlık bilgisi arayışlarında giderek daha fazla yapay zekâ tabanlı sohbet robotlarına yönelmektedir. Bu çalışma, yaygın olarak kullanılan üç sohbet robotunun Perthes hastalığı hakkındaki sorulara doğru ve anlaşılabilir cevaplar verebileceği hipotezini test etmeyi ve yanıtlarını doğruluk, kapsamlılık, okunabilirlik ve kullanıcı tarafından anlaşılabilirlik açısından karşılaştırmayı amaçlamıştır.Yöntemler: 10 Aralık 2025 tarihinde, yapay zekâ tabanlı sohbet robotları GPT-5.1 (OpenAI), Gemini 3 (Google) ve DeepSeek V3.2'ye (DeepSeek), Perthes Kids Foundation web sitesinin “Sıkça Sorulan Sorular” bölümünden tüm 11 soru soruldu. Her soru için ayrı bir konuşma başlatıldı ve standart şu ifade kullanıldı: “Perthes hastalığı teşhisi konmuş bir çocuğun ebeveyniyim ve şunu sormak istiyorum…”. Yanıtlar, iki bağımsız pediatrik ortopedi uzmanı tarafından AIRES, PEMAT-P, Flesch Okuma Kolaylığı (FRE) ve Flesch-Kincaid Sınıf Düzeyi (FKGL) endeksleri kullanılarak değerlendirildi ve istatistiksel olarak karşılaştırıldı.Sonuçlar: Tüm chatbot'lar AIRES değerlendirmesine göre mükemmel kalitede yanıtlar üretti. AIRES için gözlemciler arasında orta düzeyde ve istatistiksel olarak anlamlı bir uyum gözlemlendi ([ICC]=0.501, p




