LE CAPACITÀ DICHIARATE NON BASTANO.SERVONO PROVE.
IIIA conduce ricerca applicata per capire come i sistemi di intelligenza artificiale si comportano nei contesti in cui vengono davvero usati.
Studiamo capacità, limiti, coerenza, bias e conseguenze dei modelli. Non ci interessa soltanto se una risposta appare convincente. Ci interessa se regge a una verifica, se cambia quando cambia il contesto e se può essere utilizzata in modo responsabile.
Dimostrazioni selezionate non descrivono le applicazioni reali.
L’intelligenza artificiale viene spesso presentata attraverso dimostrazioni selezionate, benchmark generali e dichiarazioni dei produttori.
Questi riferimenti possono essere utili, ma non descrivono automaticamente ciò che accade nelle applicazioni reali.
Un modello può ottenere risultati elevati in un test e restare fragile in un processo concreto. Può sembrare fluido e sicuro, ma perdere precisione quando cambia lingua, dominio, istruzione o livello di ambiguità. Può funzionare bene in un benchmark internazionale e comportarsi diversamente davanti a documenti, norme, abitudini o aspettative italiane.
IIIA esiste anche per questo: produrre evidenze che aiutino a distinguere promesse, prestazioni e limiti.
La ricerca di IIIA ha quattro obiettivi principali.
Valutare i modelli.
Osserviamo come cambiano le prestazioni dei modelli quando cambia il compito, la formulazione della richiesta, il contesto informativo o la modalità di valutazione.
Non guardiamo soltanto l’output finale. Guardiamo la consistenza del comportamento.
Misurare il contesto italiano.
I risultati globali non descrivono automaticamente la qualità dei sistemi in Italia.
Vogliamo capire quanto i modelli comprendano davvero lingua, cultura, istituzioni, regole e casi d’uso italiani. Parlare italiano non basta: serve verificare il livello di comprensione del contesto.
Rendere l’IA più comprensibile.
La ricerca ha valore pubblico quando diventa leggibile anche al di fuori della comunità tecnica.
Per questo sviluppiamo anche lavori capaci di usare domini familiari per spiegare concetti complessi, senza ridurre il rigore del metodo.
Contribuire a un’adozione più consapevole.
Studiare l’IA non significa soltanto capire se funziona.
Significa anche capire in quali condizioni dovrebbe essere usata, quali controlli richiede, quali errori sono accettabili e chi resta responsabile delle conseguenze.
Domanda
Partiamo da un problema preciso. Cerchiamo di capire che cosa vogliamo osservare e perché quella domanda conta.
Metodo
Definiamo protocollo, condizioni sperimentali, criteri di valutazione, modelli considerati e limiti noti. Una ricerca è utile soltanto se si capisce come è stata costruita.
Osservazione
Raccogliamo risultati, variazioni, anomalie e fallimenti. Cerchiamo anche ciò che contraddice la nostra ipotesi iniziale.
Pubblicazione
Quando sicurezza, privacy, diritti e proprietà intellettuale lo permettono, rendiamo pubblici metodo, risultati e limiti. Dichiarare il perimetro di una ricerca è parte della ricerca stessa.
Confronto
La pubblicazione non chiude il lavoro. Lo apre. IIIA considera il confronto e la correzione parte del metodo.
Quattro aree di lavoro.
Capacità e limiti dei modelli
Studiamo precisione, coerenza, robustezza, calibrazione e sensibilità al contesto.
Qualità dell’output in italiano
Vogliamo misurare se i modelli globali trasferiscono davvero le loro capacità nelle applicazioni italiane, comprese lingua, cultura, riferimenti, norme e casi d’uso locali.
Comprensione pubblica dell’IA
Sviluppiamo ricerche che rendano osservabili concetti complessi in modo accessibile, senza banalizzare il metodo.
Rischi e adozione
Analizziamo come valutazione, supervisione umana, limiti operativi e gestione degli incidenti possano entrare nelle scelte di adozione.
IL CALCIO COME INTERFACCIA PER OSSERVAREIL COMPORTAMENTO DEI MODELLI.
SoccerBench è la prima ricerca presentata da IIIA.
È un progetto di ricerca pubblicato da LumenIA, al quale IIIA ha contribuito nell’ambito dello studio e della sua validazione. Usa il calcio come linguaggio comune per rendere leggibili concetti che spesso restano confinati alla ricerca tecnica: previsione, coerenza, confidenza, varianza e bias.
Il progetto mostra un principio importante per IIIA: una ricerca può essere rigorosa e, allo stesso tempo, comprensibile.
Evidenze principali
- Modelli considerati
- 25Modelli considerati
- Previsioni valutate
- 31.964Previsioni valutate
- Esperimenti controllati
- 7Esperimenti controllati
- Dataset aperto
- 1Dataset aperto
La coorte principale del torneo comprendeva 21 modelli. Il totale di 25 si riferisce all’insieme completo delle condizioni sperimentali considerate nel progetto.
Perché è importante per IIIA
SoccerBench non è una ricerca sul contesto italiano. È importante per IIIA perché rende visibile come si comportano i modelli quando vengono osservati in un dominio familiare, con regole condivise e risultati intuitivi.
È la dimostrazione di un’idea centrale dell’Istituto: la cultura popolare può diventare un’interfaccia per spiegare l’IA senza rinunciare alla precisione.
Leggi la pagina di SoccerBenchNessun annuncio prima del metodo.
IIIA sta sviluppando altri filoni di ricerca.
Alcuni riguardano la qualità dei modelli nel contesto italiano. Altri riguardano la comprensione pubblica dell’IA, la trasferibilità delle capacità dichiarate e i criteri con cui leggere vantaggi e rischi in modo più rigoroso.
Non pubblichiamo annunci prima di avere una domanda definita, un metodo chiaro e condizioni sufficienti per rappresentare il lavoro con integrità.
Cinque condizioni non negoziabili.
IIIA è aperto a valutare ricerche indipendenti richieste o sostenute da aziende, istituzioni e altre organizzazioni. Accettiamo un progetto soltanto quando sono garantite cinque condizioni.
Proponi una ricercaValore pubblico
La domanda deve produrre conoscenza utile oltre l’interesse esclusivo del soggetto che la propone.
Trasparenza
Finanziamento, esecutori e conflitti di interesse materiali devono poter essere dichiarati.
Indipendenza del metodo
IIIA deve poter definire o approvare il protocollo di lavoro e rappresentare correttamente risultati e limiti.
Diritto di pubblicazione
L’Istituto deve poter pubblicare esiti, limiti e risultati inconcludenti, compatibilmente con sicurezza, privacy e diritti applicabili.
Nessuna conclusione predeterminata
Una ricerca non può partire dall’obbligo di confermare una tesi commerciale, politica o istituzionale.
Il sostegno economico non decide il risultato.
IIIA non riceve ricavi diretti.
Quando una ricerca approvata comporta dei costi, questi possono essere coperti dai Partner Fondatori e Finanziatori oppure corrisposti direttamente alle persone e alle organizzazioni incaricate di eseguire il lavoro.
Il sostegno economico rende possibile una ricerca. Non ne decide il risultato.
Going Macro e LumenIA possono contribuire con risorse, esperienza o supporto operativo. Quando un loro contributo è rilevante, viene dichiarato. L’origine di un progetto non sostituisce il metodo.
UNA RICERCA È UTILEQUANDO RENDE PIÙ CHIAROCIÒ CHE PRIMA ERA SOLO PLAUSIBILE.
IIIA vuole produrre lavori che aiutino a capire non soltanto che cosa l’IA può fare, ma anche in quali condizioni dovrebbe essere adottata, verificata o limitata.
La ricerca non serve a costruire una reputazione astratta. Serve a rendere l’intelligenza artificiale più leggibile, più discutibile e più governabile.