USARE IL CALCIO PER RENDERE VISIBILEIL COMPORTAMENTO DELL’IA.
SoccerBench è la prima ricerca presentata da IIIA.
È un progetto di ricerca pubblicato da LumenIA, al quale IIIA ha contribuito nell’ambito dello studio e della sua validazione. Usa un dominio familiare, con regole condivise e risultati riconoscibili, per rendere leggibili concetti che normalmente restano confinati alla ricerca tecnica.
Il calcio, in questo caso, non semplifica la ricerca. La rende più osservabile.
Un dominio conosciuto rende osservabile il comportamento.
SoccerBench è un progetto di ricerca che osserva il comportamento dei modelli di intelligenza artificiale attraverso una serie di esperimenti controllati legati al calcio e alle competizioni internazionali.
L’idea è semplice: quando un dominio è conosciuto da un pubblico ampio, diventa più facile vedere la differenza tra una risposta plausibile e un comportamento realmente coerente.
Una previsione sportiva, una simulazione o una risposta argomentata sul calcio permettono di interrogare i modelli in modo intuitivo, senza rinunciare al rigore del metodo.
SoccerBench rende così più leggibili concetti come:
- coerenza tra risposte ripetute
- variazione dell’output al cambiare del contesto
- differenza tra previsione e confidenza
- ruolo dei bias e delle assunzioni implicite
- limiti di una classifica che riduce un comportamento complesso a un solo punteggio
Il calcio è una lingua comune.
Ha regole note, risultati facili da interpretare e un livello di coinvolgimento che rende immediata la lettura di ciò che un modello sta dicendo. Questo lo rende un terreno ideale per spiegare l’IA a chi non lavora ogni giorno con benchmark, metriche e valutazioni tecniche.
una risposta convincente non è ancora una prova di comprensione
una previsione può sembrare ragionevole e restare poco affidabile
cambiare istruzione, contesto o condizioni sperimentali può cambiare il comportamento del modello
un benchmark è utile solo se mostra anche i propri limiti
SoccerBench è allineato con IIIA proprio per questo: usa un tema popolare per aumentare la comprensione pubblica, non per diminuire il rigore della ricerca.
Numeri chiave.
- Modelli considerati
- 25Modelli considerati
- Previsioni valutate
- 31.964Previsioni valutate
- Esperimenti controllati
- 7Esperimenti controllati
- Dataset aperto
- 1Dataset aperto
La coorte principale dedicata al torneo comprendeva 21 modelli. Il numero 25 rappresenta il totale dei modelli considerati nell’insieme di tutte le condizioni sperimentali del progetto.
Dieci comportamenti resi misurabili.
Ogni numero riportato qui sotto proviene dal paper e dal dataset del progetto ed è riferito a una condizione sperimentale dichiarata.
Non sono giudizi sulla “qualità” dei modelli: sono regolarità osservate nel loro comportamento.
Bias di reputazione: la fama batte i dati.
Le previsioni si concentrano su nomi e nazionali già affermati, anche quando i dati suggeriscono altro.
- 11 / 21
- modelli indicano il Brasile campione: eliminato agli ottavi dalla Norvegia (0-2).
- 21 / 21
- previsioni di campione su nazionali già vincitrici: zero scommesse su un primo titolo, in un torneo a 48 squadre.
- 0
- preferenze per la Germania (4 titoli, presente al torneo) e zero indicazioni per l’Inghilterra di Kane (6 gol).
- 2.150
- gol previsti per Neymar contro 1 reale, con 60 candidature al podio del miglior giocatore, tutte pre-torneo.
- 2.333
- gol previsti per Vinícius Júnior, contro 4 reali.
Cecità sulla leadership non spettacolare.
I modelli riconoscono il contributo visibile, molto meno quello strutturale che decide le partite.
- 0,9%
- Rodri vince il Golden Ball ma è indicato 4 volte su 441 valutazioni; su un podio solo nel 3,4% dei casi.
- 127 / 47 / 46
- preferenze per Mbappé, Vinícius e Messi, contro le 4 di Rodri.
- 87%
- delle scelte (384 su 441) va a un attaccante: 2,7% di non-attaccanti prima del torneo, 23% con le statistiche reali nel prompt.
- 0 + 0
- gol e assist di Rodri, con 1 premio di migliore in campo e il record di passaggi completati in una singola edizione.
Aggiornamento asimmetrico del giudizio.
L’evidenza positiva viene recepita più rapidamente di quella negativa.
- 6,85 → 7,10
- contributi attesi per Yamal mentre non segnava: rendimento reale 1 gol.
- 5,45 → 7,05
- per Bellingham, contro 8 contributi reali.
- 2,00 → 3,20
- per Olise, contro 7 assist reali: record del torneo.
- 60 → 0
- candidature per Neymar quando i modelli ricevono le statistiche reali.
Il mondo immaginato è più regolare di quello vero.
Le previsioni tendono verso l’esito ordinato e sottostimano l’anomalia.
- 0 / 31.964
- autogol previsti. Nella realtà 15: record assoluto per un Mondiale.
- 2,68 vs 2,91
- gol per partita previsti contro quelli reali.
- < 0,3%
- delle previsioni contempla lo 0-0 al 90°: nella realtà è successo 8 volte.
- 13 / 20
- modelli indovinano la Spagna in finale, nessuno i 90 minuti a reti bianche.
La competenza dipende dalla prevedibilità.
Dove il contesto è regolare la performance è buona; dove è incerto si degrada.
- 64%
- di esiti corretti su 104 partite, contro il 62% della baseline favorita del mercato.
- 94 → 57
- punteggio di qualità: 94/100 ai quarti (tutte le favorite vincenti), 57 in semifinale (Spagna-Francia 2-0).
- 18 / 20
- modelli azzeccano il risultato esatto di Spagna-Belgio 2-1.
Sicurezza scollegata dalla competenza.
La confidenza dichiarata non predice la qualità della previsione.
- 75,9 vs 70,7
- sicurezza dichiarata dai modelli open-weight contro quelli chiusi.
- 72,2 vs 72,9
- punteggio reale: il divario di sicurezza di 5,2 punti non produce precisione.
Fragilità del singolo run.
Una singola risposta non è un’opinione stabile.
- 12
- campioni diversi dallo stesso modello su 100 simulazioni indipendenti.
- 139 / 23 / 12 / 11
- occorrenze su 200 per Brasile, Francia, Marocco e Germania.
Il contesto batte la memoria.
Fornire i dati nel prompt riduce drasticamente le invenzioni.
- 0,03%
- riferimenti a giocatori inesistenti con le rose nel prompt.
- 3,90%
- senza le rose: un fattore di circa 120.
Due abilità distinte, non una.
Simulare un torneo e valutare una singola partita non sono lo stesso compito.
- 49,8 → 17,0
- scala normalizzata nella simulazione del torneo, da GPT-5.5 a GPT-5 Nano: quasi il triplo tra vertice e coda.
- 5,6 punti
- separano tutti i 20 modelli sulla singola partita: il peggiore conserva il 92% del migliore. Le due classifiche sono quasi scorrelate.
Mercato e disciplina.
Con quote reali, i modelli restano allineati al mercato, non oltre.
- +0,9%
- su 1.591 scommesse con 10.000 $ virtuali a testa e quote reali Pinnacle: +10.019 $ su 1,06 mln puntati.
- 57,2%
- di scommesse vinte: alla pari col mercato.
- 0
- differenze significative per geografia (USA/EU/Cina) o apertura dei pesi: le divisioni di settore non predicono la capacità.
Capacità non è coerenza.
Un modello può produrre una risposta plausibile senza mantenere lo stesso livello di affidabilità tra prove, formulazioni e condizioni diverse.
SoccerBench è utile perché rende visibile questa differenza. Mostra che una performance apparente non basta per concludere che un sistema sia stabile o ben compreso.
Il contesto cambia l’output.
L’output di un modello non dipende soltanto dalla “conoscenza” che possiede, ma anche da come viene interrogato, da quali informazioni sono disponibili e da quale struttura sperimentale è stata costruita attorno al compito.
SoccerBench aiuta a vedere come cambiano le risposte quando cambiano le condizioni.
Un benchmark deve mostrare anche i limiti.
Una classifica da sola può essere fuorviante.
Un benchmark utile deve spiegare che cosa è stato misurato, in quali condizioni, che cosa non è stato osservato e quali conclusioni non possono essere tratte. SoccerBench è importante anche perché rende leggibile questo principio a un pubblico più ampio.
Contributo allo studio e alla validazione.
SoccerBench è un progetto di ricerca pubblicato da LumenIA, al quale IIIA ha contribuito nell’ambito dello studio e della sua validazione.
Metodologica
Dimostra che si può progettare una ricerca leggibile senza rinunciare alla precisione.
Educativa
Mostra come un dominio familiare possa diventare un’interfaccia per spiegare il comportamento dei modelli.
Di posizionamento
Chiarisce che la ricerca di IIIA non vuole parlare soltanto agli specialisti, ma anche a chi deve comprendere l’IA per usarla, valutarla o discuterla pubblicamente.
Non promette più di ciò che può dimostrare.
SoccerBench non è una ricerca sul contesto italiano.
Non misura direttamente quanto un modello comprenda lingua, cultura, istituzioni o regolazione italiana. Quel filone appartiene a un altro asse di ricerca dell’Istituto.
Non è nemmeno una prova definitiva sulla “qualità assoluta” di un modello. È un dispositivo di osservazione, utile per leggere comportamento, variazione e limiti entro un perimetro sperimentale dichiarato.
Questo è uno dei motivi per cui è importante: non promette più di ciò che può dimostrare.
La base documentale.
La SoccerBench Public Edition raccoglie il quadro metodologico e i risultati pubblici del progetto.
Rappresenta la base documentale della sintesi presentata in questa pagina e consente di leggere il lavoro in modo più esteso e con maggiore dettaglio.
IL CALCIO RENDE VISIBILECOME RAGIONANO I MODELLI.
SoccerBench è la prima ricerca presentata da IIIA perché incarna bene una delle idee centrali dell’Istituto: una tecnologia che influenza decisioni e giudizi pubblici deve poter essere osservata in modo comprensibile.
Rendere visibile il comportamento di un modello è già un modo per riequilibrare il rapporto tra chi costruisce l’IA e chi deve conviverci.