EVALUATION OF READABILITY INDICES OF CHATGPT-4 AND GOOGLE GEMINI IN PATIENT EDUCATION ABOUT INTRACRANIAL HEMORRHAGES

Abstract

Aim. Subarachnoid haemorrhage (SAH) and intracranial aneurysms are critical neurological conditions with significant implications for patient morbidity and mortality. The intersection of readability indices and artificial intelligence (AI) is an emerging field that aims to improve the accessibility and understanding of written material in different areas. Readability indices, such as the Automated Readability Index (ARI) and the Flesch–Kincaid grade level, provide quantitative measures of text complexity that are crucial for tailoring content to specific audiences . Therefore, in this study, we aimed to examine the answers given to questions asked by patients with intracranial haemorrhage using readability indices. Materials and Methods. In this study, questions directly posed by patients and their relatives concerning subarachnoid haemorrhage and intracranial aneurysms were compiled. The collated questions were then divided into subcategories, including definition, diagnosis, treatment options, surgical procedures, complications, and impact on daily life. Flesch Reading Ease (FRE) Formula, Fog Scale (Gunning FOG Formula), SMOG Index, Automated Readability Index (ARI), Coleman-Liau Index, Linsear Write Formula, Dale-Chall Readability Score, Spache Readability Formula. AI technologies were compared across groups. Results. The results indicate that for most readability indices, there is no statistically significant difference between the two models, with one notable exception; Coleman-Liau Readability Index: Gemini: 10.59 ± 0.98 vs. ChatGPT: 11.80 ± 1.64; p-Value: 0.014 The only exception is the Coleman-Liau Readability Index, where a statistically significant difference was found, with ChatGPT showing a slightly higher score, implying potentially greater complexity according to that specific measure. Conclusion. Our article provides valuable quantitative data on the readability of texts from ChatGPT and Gemini, its scope is narrow. A more comprehensive study would ideally include qualitative assessments, a broader range of text types, and detailed information on the methodology and model versions to provide a more holistic understanding of the models' performance. Актуальность. Субарахноидальное кровоизлияние (САК) и внутричерепные аневризмы являются критическими неврологическими состояниями, имеющими значительные последствия для заболеваемости и смертности пациентов. Пересечение индексов читаемости и искусственного интеллекта (ИИ) является новой областью, направленной на улучшение доступности и понимания письменных материалов в различных областях. Индексы читаемости, такие как автоматический индекс читаемости (ARI) и уровень сложности текста по шкале Флеша-Кинкейда, предоставляют количественные показатели сложности текста, которые имеют решающее значение для адаптации контента к конкретной аудитории. Поэтому в данном исследовании мы поставили цельпроанализировать ответы на вопросы, заданные пациентами с внутричерепным кровоизлиянием, с использованием индексов читаемости. Материалы и методы. В данном исследовании были собраны вопросы, непосредственно заданные пациентами и их родственниками, касающиеся субарахноидального кровоизлияния и внутричерепных аневризм. Затем собранные вопросы были разделены на подкатегории, включая определение, диагностику, варианты лечения, хирургические процедуры, осложнения и влияние на повседневную жизнь. Формула читабельности Флеша (FRE), шкала Fog (формула Gunning FOG), индекс SMOG, автоматический индекс читабельности (ARI), индекс Коулмана-Ляу, формула Линсеара, шкала читабельности Дейла-Чалла, формула читабельности Спаче. Технологии искусственного интеллекта были сравнены между группами. Результаты. Результаты показывают, что для большинства индексов читаемости нет статистически значимой разницы между двумя моделями, за одним заметным исключением; Индекс читаемости Коулмана-Лиау: Gemini: 10,59 ± 0,98 против ChatGPT: 11,80 ± 1,64; p-значение: 0,014 Единственным исключением является индекс читаемости Коулмана-Лиау, где была обнаружена статистически значимая разница: ChatGPT показал немного более высокий балл, что означает потенциально большую уровень сложности по этому конкретному показателю. Заключение. Наша статья предоставляет ценные количественные данные о читаемости текстов ChatGPT и Gemini, однако ее область применения ограничен. Более комплексное исследование в идеале должно включать качественную оценку, более широкий спектр типов текстов и подробную информацию о методологии и версиях моделей, чтобы обеспечить более целостное понимание производительности моделей. Мақсаты. Субарахноидты қан кету (SAH) және бас сүйек іші аневризмалары пациенттердің аурушаңдығы мен өліміне айтарлықтай әсер ететін маңызды неврологиялық жағдайлар болып табылады. Оқу және жасанды интеллект (AI) индекстерінің тоғысуы әртүрлі салалардағы жазбаша материалдардың қолжетімділігі мен түсінігін жақсартуға бағытталған жаңа сала болып табылады. Автоматты оқылым индексі (ARI) және Флэш-Кинкейд шкаласы бойынша мәтіннің күрделілік деңгейі сияқты оқылым индекстері мазмұнды белгілі бір аудиторияға бейімдеу үшін маңызды мәтіннің күрделілігінің сандық көрсеткіштерін ұсынады. Сондықтан, осы зерттеуде біз бас сүйек ішіне қан құйылумен ауыратын науқастардың оқылым индекстерін қолдана отырып қойған сұрақтарына жауаптарды талдауды мақсат етіп қойдық. Материалдар мен әдістер. бұл зерттеуде пациенттер мен олардың туыстары субарахноидты қан кетуге және бас сүйек іші аневризмасына қатысты тікелей қойған сұрақтары жинақталды. Содан кейін жинақталған сұрақтар анықтау, диагностика, емдеу нұсқалары, хирургиялық процедуралар, асқынулар және күнделікті өмірге әсер ету сияқты кіші санаттарға бөлінді. Флештің оқылым формуласы (FRE), Fog шкаласы (Gunning FOG формуласы), SMOG индексі, Автоматты оқылым индексі (ARI), Коулман-Ляу индексі, Линсеар формуласы, Дейл-Чаллдың оқылым шкаласы, Спаче оқылым формуласы. Жасанды интеллект технологиялары топтар арасында салыстырылды Нәтижелер. Нәтижелер көптеген оқылым индекстері үшін екі модель арасында статистикалық маңызды айырмашылық жоқ екенін көрсетеді, тек бір ерекше жағдайды қоспағанда; Коулман-Лиаудың оқылу индексі: Gemini: 10,59 ± 0,98 керісінше ChatGPT: 11,80 ± 1,64; p-мәні: 0,014 жалғыз ерекшелік-Коулман-Лиаудың оқылу индексі, онда статистикалық маңызды айырмашылық: ChatGPT сәл жоғары балл көрсетті, бұл нақты көрсеткіш бойынша күрделіліктің ықтималдылығының жоғары деңгейін білдіреді. Қорытынды. Біздің мақалада ChatGPT және Gemini мәтіндерінің оқылуы туралы құнды сандық мәліметтер келтірілген, бірақ оның қолдану аясы шектеулі. Неғұрлым жан-жақты зерттеу модельдердің өнімділігі туралы біртұтас түсінік беру үшін сапалы бағалауды, мәтін түрлерінің кең спектрін және модельдердің әдістемесі мен нұсқалары туралы егжей-тегжейлі ақпаратты қамту керек.

Ähnliche Arbeiten