Con una percentuale di risposte corrette del 69%, nella versione GPT-3,5, e dell’81%, nella versione GPT-4, il sistema di chatbot basato sull’intelligenza artificiale ChatGPT funziona come un “board di esperti di radiologia”. E’ quanto emerge da due ricerche coordinate da Rajesh Bhayana, radiologo dell’University Medical Imaging Toronto, in Canada, e pubblicate da Radiology.
ChatGPT utilizza l’apprendimento automatico per riconoscere relazioni tra le parole dall’ampio set di dati con cui è stato formato, in modo da dare risposte simili a quelle dell’uomo. Tuttavia lo strumento può generare risposte errate.
“La nostra ricerca ha dato informazioni sulle prestazioni di ChatGPT in un contesto radiologico, evidenziandone l’incredibile potenziale, insieme alle attuali limitazioni che lo rendono ancora inaffidabile”, spiega Bhayana.
Per valutare le prestazioni a livello di radiologia ed esplorare punti di forza e limitazioni, il team ha testato ChatGPT nella versione attualmente più utilizzata, GPT-3.5, usando 150 domande a scelta multipla tratte dagli esami del Canadian Royal College e dell’American Board of Radiology.
Le domande non includevano immagini e sono state raggruppate per tipologia, al fine di ottenere informazioni sulle prestazioni.
ChatGPT ha risposto correttamente al 69% delle domande, raggiungendo quasi il 70% utilizzato come valore minimo di efficacia dal Royal College canadese.
La versione GPT-4, invece, ha risposto in modo corretto all’81% delle domande, superando la versione precedente e la soglia del 70%. Dai risultati, dunque, emerge che la capacità di ragionamento avanzato di GPT, soprattutto nella versione 4, si traducono in migliori prestazioni in un contesto radiologico.
Fonte: Radiology 2023
