L’uso crescente di agenti di AI in grado di compilare questionari con poca o nessuna supervisione umana rappresenta un cambiamento strutturale nel problema delle frodi nei sondaggi. Soprattutto di quelli a tema politico, centrali nelle scienze sociali e nei processi democratici.
Insomma, l’affidabilità delle ricerche basata su survey è messa seriamente a rischio. È quanto sostengono tre ricercatori dell’IMT School for Advanced Studies Lucca e dell’Università di Cambridge in un commento pubblicato sulla rivista Nature.
Alcuni studi citati dai ricercatori indicano che una quota non trascurabile delle risposte, variabile dal 4% al 90% in alcune popolazioni, può essere falsa o fraudolenta.
Anche percentuali molto più basse possono però avere effetti rilevanti. In presenza di effetti statistici piccoli, una contaminazione dei dati pari al 3%–7% può invalidare le conclusioni di una ricerca.
Non è più certo se a rispondere sia una persona o no
“I problemi sono cambiati di scala”, scrivono gli autori, sottolineando come gli strumenti tradizionali per distinguere tra risposte umane e non umane non siano più efficaci.
“Non possiamo più dire se chi risponde sia una persona o no, e il risultato è che tutti i dati sono potenzialmente contaminati”, spiega Folco Panizza, ricercatore dell’IMT School for Advanced Studies Lucca e tra gli autori del commento.
Piattaforme ampiamente utilizzate per la raccolta di dati, come Amazon Mechanical Turk, Prolific e Lucid, consentono da anni di ottenere rapidamente grandi quantità di risposte a basso costo, ma sono oggi particolarmente vulnerabili alla manipolazione da parte di sistemi automatici.
Gli strumenti di verifica tradizionali sono sempre meno efficaci
I tradizionali strumenti di controllo, come i CAPTCHA o le domande di attenzione inserite nei questionari, risultano sempre meno efficaci di fronte a modelli avanzati capaci di produrre risposte fluide, coerenti e contestualizzate, spesso migliori di quelle umane.
Gli autori propongono quindi un cambio di strategia su più livelli. Da un lato suggeriscono di analizzare i cosiddetti ‘paradata’, come la velocità di digitazione, l’uso del copia-incolla e altri pattern comportamentali, per individuare risposte statisticamente improbabili per un essere umano. Dall’altro indicano necessità di fare maggiore affidamento su panel di ricerca basati su campioni probabilistici o partecipanti con identità verificate.
Ripensare con urgenza gli standard di integrità dei dati
La proposta più radicale consiste però nel ribaltare la logica della rilevazione delle frodi, progettando test che sfruttino i limiti del ragionamento umano piuttosto che le debolezze dell’AI.
Ma nessuna soluzione singola sarà sufficiente, riferisce AGI, poiché i sistemi di AI continuano ad adattarsi ai tentativi di rilevazione.
Per proteggere la credibilità della ricerca nelle scienze sociali, ricercatori, piattaforme e finanziatori sono quindi chiamati a ripensare con urgenza gli standard di integrità dei dati, combinando campioni di maggiore qualità, strumenti di controllo più sofisticati e maggiore trasparenza.