ChatGPT nu a reușit să treacă examenele naționale de îngrijire primară din Marea Britanie într-un nou studiu, subliniind modul în care inteligența artificială (AI) nu corespunde neapărat percepției umane privind complexitatea medicală.
ChatGPT a oferit, de asemenea, explicații inedite - "halucinează" frecvent - descriind informații inexacte ca și cum ar fi fapte, potrivit lui Shathar Mahmood, student în anul cinci la medicină la University of Cambridge School of Clinical Medicine, Cambridge, Marea Britanie, care a prezentat concluziile la Conferința anuală 2023 a Royal College of General Practitioners (RCGP). Studiul a fost publicat în JMIR Medical Education la începutul acestui an.
Vezi și: Băutura care ameliorează sforăitul. Te ajută să pierzi și kilogramele nedorite
"Inteligența artificială a generat rezultate impresionante în întreaga medicină, iar odată cu lansarea ChatGPT se discută acum despre faptul că aceste modele lingvistice mari vor prelua locurile de muncă ale medicilor", a declarat Arun James Thirunavukarasu, de la Universitatea din Oxford și Oxford University Hospitals NHS Foundation Trust, care este autorul principal al studiului.
Performanța inteligenței artificiale la examenele școlii de medicină a provocat o mare parte din această discuție, adesea pentru că performanța nu reflectă practica clinică din lumea reală, a spus el. "Am folosit în schimb testul de cunoștințe aplicate, iar acest lucru ne-a permis să explorăm potențialul și capcanele implementării modelelor lingvistice mari în asistența medicală primară și să explorăm ce dezvoltare ulterioară a aplicațiilor medicale cu modele lingvistice mari este necesară".
Cercetătorii au investigat punctele forte și punctele slabe ale ChatGPT în asistența medicală primară, folosind testul de cunoștințe aplicate al membrilor Colegiului Regal al Medicilor Generaliști. Evaluarea computerizată, cu alegere multiplă, face parte din pregătirea de specialitate din Marea Britanie pentru a deveni medic generalist (GP). Acesta testează cunoștințele care stau la baza practicii generale în contextul Serviciului Național de Sănătate din Regatul Unit.
Cercetătorii au introdus o serie de 674 de întrebări în ChatGPT în două ocazii, sau "runde". "Punând întrebările în două dialoguri separate, am sperat să evităm influența unui dialog asupra celuilalt", a declarat Mahmood. Pentru a valida faptul că răspunsurile au fost corecte, răspunsurile din ChatGPT au fost comparate cu răspunsurile furnizate de autotestul GP și de articolele anterioare, potrivit Medscape.
Ce scor a avut inteligența artificială
Performanța generală a algoritmului a fost bună în ambele runde (59,94% și 60,39%); 83,23% dintre întrebări au produs același răspuns în ambele runde.
Dar 17% dintre răspunsuri nu s-au potrivit, a raportat Mahmood, o diferență semnificativă din punct de vedere statistic. "Iar performanța generală a ChatGPT a fost cu 10% mai mică decât media de trecere a RCGP în ultimii ani, ceea ce informează una dintre concluziile noastre cu privire la faptul că nu este foarte precisă la nivelul de reamintire și de luare a deciziilor la nivel de expert", a spus ea.
De asemenea, un mic procent de întrebări (1,48% și 2,25% în fiecare rundă) a produs un răspuns incert sau nu a existat niciun răspuns.
Explicațiile noi au fost generate la rularea unei întrebări prin ChatGPT, care a oferit apoi un răspuns extins, a spus Mahmood. Atunci când acuratețea răspunsurilor extinse a fost comparată cu cea a răspunsurilor corecte, nu s-a constatat nicio corelație. "ChatGPT poate halucina răspunsuri și nu există nicio modalitate ca un non-expert care citește acest lucru să știe că este incorect", a continuat ea.
În ceea ce privește aplicarea ChatGPT și a algoritmilor similari în practica clinică, Mahmood a fost clară. "În forma actuală, sistemele de inteligență artificială nu vor putea înlocui forța de muncă profesională din domeniul sănătății, cel puțin în asistența medicală primară", a spus ea. "Cred că sunt necesare seturi de date mai mari și mai specifice din punct de vedere medical pentru a le îmbunătăți rezultatele în acest domeniu."
Sandip Pramanik, medic de familie din Watford, Marea Britanie, a declarat că studiul "a arătat în mod clar lupta ChatGPT pentru a face față complexității întrebărilor examenului care se bazează pe sistemul de asistență medicală primară. În esență, acest lucru în indicativ al factorilor umani implicați în luarea deciziilor în asistența medicală primară".
Testul de cunoștințe aplicate este conceput pentru a testa cunoștințele necesare pentru a fi un generalist în cadrul asistenței medicale primare și, ca atare, există o mulțime de nuanțe care reflectă acest lucru în cadrul întrebărilor, a spus Pramanik.
"ChatGPT poate privi aceste aspecte într-un mod mai alb-negru, în timp ce generalistul trebuie să reflecte complexitatea și diferitele posibilități pe care le poate prezenta, mai degrabă decât să adopte o poziție binară "da" sau "nu"", a spus el. "De fapt, acest lucru evidențiază multe despre natura practicii generale în gestionarea incertitudinii, iar acest lucru se reflectă în întrebările puse în cadrul examenului", a remarcat el. El a precizat: "A fi generalist înseamnă să iei în considerare emoțiile și percepția umană, precum și cunoștințele".
Fiți la curent cu ultimele noutăți. Urmăriți DCMedical și pe Google News
Te-a ajutat acest articol?
Urmărește pagina de Facebook DCMedical și pagina de Instagram DCMedical Doza de Sănătate și accesează mai mult conținut util pentru sănătatea ta, prevenția și tratarea bolilor, măsuri de prim ajutor și sfaturi utile de la medici și pacienți.
