Un nuovo strumento open source crea diagrammi, grafici e documenti sintetici per aiutare i modelli di linguaggio visivo a “vedere” più chiaramente
Nella corsa allo sviluppo di un’intelligenza artificiale in grado di comprendere immagini complesse come previsioni finanziarie, diagrammi medici ed etichette nutrizionali – essenziali per l’intelligenza artificiale per operare in modo indipendente negli ambienti quotidiani – sistemi closed source come ChatGPT e Claude sono attualmente all’avanguardia. Ma nessuno al di fuori dei loro creatori sa come siano stati addestrati questi modelli o quali dati abbiano utilizzato, lasciando le alternative open source a lottare per recuperare terreno.
Ora, i ricercatori della Penn Engineering e dell’Allen Institute for AI (Ai2) hanno sviluppato un nuovo approccio per addestrare modelli open source: utilizzare l’intelligenza artificiale per creare figure scientifiche, grafici e tabelle che insegnano ad altri sistemi di intelligenza artificiale come interpretare informazioni visive complesse.
Il loro strumento, CoSyn (abbreviazione di Code-Guided Synthesis ), sfrutta le capacità di codifica dei modelli di intelligenza artificiale open source per riprodurre immagini ricche di testo e generare domande e risposte pertinenti, fornendo ad altri sistemi di intelligenza artificiale i dati di cui hanno bisogno per imparare a “vedere” e comprendere le figure scientifiche.
Come spiegano i ricercatori in un articolo per ACL 2025 , una delle conferenze di intelligenza artificiale più importanti al mondo, i modelli addestrati con CoSyn eguagliano o superano in prestazioni i loro concorrenti proprietari. “È come prendere uno studente bravo a scrivere e chiedergli di insegnare a qualcuno a disegnare, semplicemente descrivendogli come dovrebbe apparire il disegno”, afferma Yue Yang (GrEng’25), co-autore e ricercatore presso il gruppo di ricerca PRIOR: Perceptual Reasoning and Interaction di Ai2. “Stiamo essenzialmente trasferendo i punti di forza dell’intelligenza artificiale open source dal testo alla visione”.
Immagini sintetiche, risultati reali
Il set di dati risultante, denominato CoSyn-400K , include oltre 400.000 immagini sintetiche e 2,7 milioni di set di istruzioni corrispondenti, in categorie che spaziano da grafici scientifici, strutture chimiche e screenshot dell’interfaccia utente. I modelli addestrati con CoSyn hanno superato i migliori sistemi proprietari come GPT-4V e Gemini 1.5 Flash in una suite di sette test di benchmark.
In un caso particolarmente eclatante, i ricercatori hanno generato sinteticamente solo 7.000 etichette nutrizionali per addestrare un modello per un nuovo benchmark da loro creato, NutritionQA. Quel piccolo set di dati mirato ha permesso al loro modello di superare altri addestrati su milioni di immagini reali.
“Addestrare l’intelligenza artificiale con CoSyn è incredibilmente efficiente in termini di dati”, afferma Mark Yatskar , professore associato presso il CIS e co-relatore di dottorato di Yang. “Stiamo dimostrando che i dati sintetici possono aiutare i modelli a generalizzare scenari reali che potrebbero essere specifici per le esigenze di una persona, come leggere un’etichetta nutrizionale per una persona ipovedente”.
Scalabilità e diversificazione del set di dati
Creare centinaia di migliaia di esempi di formazione utili e diversificati ha posto le sue sfide.
Per raggiungere la scala richiesta, il co-primo autore Ajay Patel , dottorando in Informatica e Scienze dell’Informazione (CIS), ha sviluppato una libreria software chiamata DataDreamerche ha automatizzato l’intero processo di generazione dei dati. Ciò ha permesso al team di sollecitare modelli linguistici in parallelo, consentendo la produzione su larga scala di immagini e istruzioni sintetiche.
Per evitare ripetizioni, il team ha sfruttato le “personaggi”, brevi profili di personaggi come “uno scrittore di fantascienza” o “un insegnante di chimica”, che guidavano le risposte dell’IA e modellavano il contenuto e il tono di ogni esempio. L’integrazione di queste persone nei prompt ha permesso a CoSyn di produrre dati di training più ricchi e variegati in un’ampia gamma di ambiti.
“I modelli di intelligenza artificiale tendono a ripetersi se non li si sposta verso prospettive diverse”, spiega Patel. “Le persone ci offrono un modo scalabile per farlo, e i risultati parlano da soli.”
Livellare il campo di gioco per l’intelligenza artificiale open source
Costruendo CoSyn interamente con strumenti open source, i ricercatori sperano di democratizzare l’accesso a potenti metodi di formazione visiva e linguistica senza le sfide etiche e legali che circondano il web scraping e i contenuti protetti da copyright.
“Questo è un passo avanti verso l’AI che ci aiuterà a fare nuove scoperte scientifiche”, aggiunge Chris Callison-Burch , professore presso la CIS, che ha co-consulto Yang e attualmente è consulente di Patel. “Apre le porte a sistemi di intelligenza artificiale in grado di analizzare documenti scientifici, il che potrebbe aiutare una vasta gamma di persone, dagli studenti universitari ai ricercatori”.
Dalla comprensione all’azione
Il team ha rilasciato al pubblico il codice completo e il set di dati CoSyn , invitando la comunità di ricerca mondiale a basarsi sul loro lavoro.
Yang sta già guardando al futuro, con dati sintetici che potranno aiutare l’intelligenza artificiale non solo a comprendere le immagini, ma anche a interagire con esse, fungendo da agenti digitali intelligenti in grado di cliccare pulsanti, compilare moduli e assistere gli utenti nelle attività quotidiane.
“A lungo termine, vogliamo un’IA in grado di agire nel mondo, non solo di descriverlo”, afferma Yang. “Questo è un modo per insegnarle come fare.”
Scopri di più da Lambertini, esperienza vissuta, salute, scrittura e visioni sul presente
Abbonati per ricevere gli ultimi articoli inviati alla tua e-mail.