يجتاز ChatGPT امتحانات الترخيص الطبي للولايات المتحدة: دراسة

يمكن لـ ChatGPT أن يسجل عند أو ما يقرب من 60 في المائة من عتبة النجاح في امتحان الترخيص الطبي للولايات المتحدة (USMLE) ، مع استجابات جعلت إحساسًا داخليًا متماسكًا وتحتوي على رؤى متكررة ، وفقًا لدراسة جديدة.

قالت الدراسة إن تيفاني كونغ وزملاؤها في AnsibleHealth ، كاليفورنيا ، الولايات المتحدة ، اختبروا أداء ChatGPT على USMLE ، وهي سلسلة موحدة ومنظمة للغاية من ثلاثة اختبارات ، بما في ذلك الخطوات 1 و 2 CK و 3 ، المطلوبة للترخيص الطبي في الولايات المتحدة.

يأخذ طلاب الطب والأطباء تحت التدريب ، USMLE بتقييم المعرفة التي تغطي معظم التخصصات الطبية ، بدءًا من الكيمياء الحيوية ، إلى التفكير التشخيصي ، إلى أخلاقيات البيولوجيا.

بعد الفحص لإزالة الأسئلة القائمة على الصور من USMLE ، اختبر المؤلفون البرنامج على 350 من 376 سؤالًا عامًا متاحًا من إصدار يونيو 2022 USMLE ، حسبما ذكرت الدراسة.

وجد المؤلفون أنه بعد إزالة الردود غير المحددة ، سجل ChatGPT ما بين 52.4 بالمائة و 75 بالمائة في اختبارات USMLE الثلاثة ، وفقًا للدراسة المنشورة في مجلة PLOS Digital Health.

عتبة النجاح كل عام ما يقرب من 60 في المئة.

ChatGPT هو نظام ذكاء اصطناعي جديد (AI) ، يُعرف باسم نموذج اللغة الكبيرة (LLM) ، مصمم لإنشاء كتابة شبيهة بالبشر من خلال توقع تسلسل الكلمات القادمة.

وقالت الدراسة ، على عكس معظم روبوتات الدردشة ، فإن ChatGPT لا يمكنها البحث في الإنترنت.

وبدلاً من ذلك ، فإنها تولد نصًا باستخدام العلاقات بين الكلمات التي تنبأت بها عملياتها الداخلية ، وفقًا لما جاء في الدراسة.

وفقًا للدراسة ، أظهر ChatGPT أيضًا توافقًا بنسبة 94.6 في المائة عبر جميع ردوده وأنتج فكرة واحدة مهمة على الأقل ، وهو أمر جديد وغير واضح وصالح إكلينيكيًا لـ 88.9 في المائة من ردوده.

وقالت الدراسة إن ChatGPT تجاوز أيضًا أداء PubMedGPT ، وهو نموذج نظير تم تدريبه حصريًا على أدبيات المجال الطبي الحيوي ، والذي سجل 50.8 بالمائة على مجموعة بيانات قديمة لأسئلة على غرار USMLE.

في حين أن حجم المدخلات الصغير نسبيًا حد من عمق ومدى التحليلات ، لاحظ المؤلفون أن النتائج التي توصلوا إليها قدمت لمحة عن إمكانات ChatGPT لتعزيز التعليم الطبي ، وفي النهاية الممارسة السريرية.

وأضافوا ، على سبيل المثال ، أن الأطباء في AnsibleHealth يستخدمون بالفعل ChatGPT لإعادة كتابة التقارير ذات المصطلحات الثقيلة لتسهيل فهم المريض.

قال المؤلفون: “إن الوصول إلى درجة النجاح في اختبار الخبراء المعروف بصعوبة هذا الاختبار ، والقيام بذلك دون أي دعم بشري ، يمثل علامة بارزة في النضج السريري للذكاء الاصطناعي”.

وأضاف كونغ أن دور ChatGPT في هذا البحث تجاوز كونه موضوع الدراسة.

“ChatGPT ساهم بشكل كبير في كتابة [our] مخطوطة … لقد تفاعلنا مع ChatGPT مثل زميل لنا ، وطلبنا منه التوليف والتبسيط وتقديم نقاط مقابلة للمسودات قيد التقدم … وقد قدر جميع المؤلفين المشاركين مدخلات ChatGPT. ”