Gli strumenti di intelligenza artificiale vengono utilizzati sempre più non solo per generare ricerca scientifica, ma anche per verificarne l’accuratezza, mettendo in luce errori che a volte sono rimasti nel record scientifico per decenni.
Un esempio recente in chimica è arrivato dal modello di fondazione scientifica 021 del Zhejiang Lab. Durante un esercizio di previsione del punto di ebollizione, il modello ha prodotto risultati in conflitto con i valori consolidati nella letteratura scientifica e nei database. I ricercatori inizialmente hanno considerato la discrepanza come un possibile errore del modello, ma controllando le fonti sottostanti è stato riportato alla luce un errore tipografico vecchio di decenni e misurazioni effettuate con strumenti obsoleti.
L’episodio illustra un problema più ampio con i dati scientifici: un valore errato può diventare difficile da contestare una volta che è stato copiato da un articolo originale in libri di riferimento e poi in database digitali. I ricercatori si sono rivolti sempre più a sistemi di machine learning per identificare tali incoerenze, specialmente quando grandi set di dati rendono difficile il controllo manuale. Studi su database chimici hanno anche documentato errori introdotti sia nella ricerca originale sia durante il trasferimento delle informazioni nei database.
Lo stesso approccio viene ora testato direttamente sugli articoli scientifici.
Uno studio condotto da ricercatori tra cui Federico Bianchi e James Zou ha sviluppato un sistema basato su GPT-5 chiamato Paper Correctness Checker per identificare errori oggettivi nella ricerca pubblicata sull’intelligenza artificiale, inclusi equazioni, calcoli, figure e tabelle errate. I ricercatori hanno esaminato 2.500 articoli da ICLR, NeurIPS e TMLR e hanno trovato in media 4,7 errori di questo tipo per articolo.
Il numero è aumentato nel tempo a NeurIPS, da una media di 3,8 errori per articolo nel 2021 a 5,9 nel 2025, un incremento del 55,3%. Gli errori matematici e relativi a formule hanno rappresentato il 54% degli errori identificati dal sistema.
Esperti umani hanno esaminato 316 potenziali errori segnalati dall’IA e ne hanno confermati 263, dando al sistema un tasso di precisione dell’83,2%. Ha inoltre proposto correzioni che i ricercatori hanno giudicato corrette nel 75,8% dei casi. I ricercatori hanno sottolineato che il sistema è pensato per assistere i revisori umani e non per sostituirli.
Altre ricerche evidenziano i limiti di questo approccio. Il benchmark SPOT ha testato sistemi di IA su 83 articoli scientifici pubblicati contenenti 91 errori confermati dagli autori e abbastanza gravi da richiedere correzioni o ritrattazioni. Il modello con le migliori prestazioni ha rilevato solo il 21,1% degli errori, mentre la sua precisione era del 6,1%, dimostrando quanto sia difficile una verifica scientifica affidabile per i modelli attuali.
Google sta sviluppando strumenti volti a integrare l’IA nella validazione scientifica. Il suo strumento sperimentale Paper Assistant Tool è progettato per analizzare manoscritti completi, verificare risultati teorici ed esperimenti e identificare possibili difetti. Google afferma di testare tali sistemi con importanti conferenze scientifiche tra cui ICML, STOC e NeurIPS.
Il quadro emergente è quindi più complesso del consueto avvertimento che l’IA può inventare informazioni. La stessa tecnologia può essere utile anche per trovare contraddizioni nella ricerca generata dall’uomo, specialmente quando una risposta può essere verificata tramite calcoli, equazioni o dati sottostanti.
Tuttavia, le evidenze non supportano il trattamento dell’IA come autorità finale sulla verità scientifica. I sistemi attuali possono mancare errori gravi e generare avvisi errati. Il loro ruolo più utile è più limitato: identificare anomalie e questioni che gli scienziati possono poi indagare confrontandole con le evidenze originali.
Ancora nessun commento. Scrivi tu il primo.