Negli ultimi anni, l’intelligenza artificiale (IA) ha compiuto progressi significativi, consentendo l’elaborazione di informazioni e la creazione di soluzioni innovative, che spaziano dai sistemi di riconoscimento facciale alla gestione avanzata dei dati. Però i sistemi di percezione attuali sono ancora limitati, in quanto necessitano di istruzioni esplicite da parte dell’uomo per identificare gli oggetti o le categorie target prima di eseguire le operazioni di riconoscimento visivo.

Un gruppo di ricercatori (Xin Lai, Zhuotao Tian, Yukang Chen, Yanwei Li, Yuhui Yuan, Shu Liu, Jiaya Jia) ha recentemente proposto un nuovo approccio per superare tali limitazioni, introducendo il concetto di “reasoning segmentation”, ovvero la segmentazione basata sul ragionamento. Il loro obiettivo è creare un sistema in grado di comprendere in modo attivo le intenzioni implicite degli utenti e di rispondere a richieste complesse, andando oltre la semplice interpretazione di dati visivi.

Per realizzare questo sistema avanzato, i ricercatori hanno sviluppato LISA: Large Language Instructed Segmentation Assistant. LISA è un modello di intelligenza artificiale che combina le capacità di generazione del linguaggio dei modelli multi-modali Large Language Model (LLM) con la possibilità di produrre maschere di segmentazione. In pratica, LISA è in grado di processare e analizzare le informazioni contenute sia nelle immagini che nel testo, fornendo risposte precise e dettagliate alle richieste degli utenti.

Un elemento fondamentale di LISA è l’introduzione di un nuovo token <SEG>, che permette al sistema di elaborare le maschere di segmentazione in modo analogo ai token linguistici. Ciò consente al modello di integrare le informazioni visive e testuali, ricavando nuove connessioni e approfondendo la comprensione del contesto in cui si trova l’oggetto o la categoria richiesta.

LISA è in grado di gestire diversi tipi di situazioni, come ad esempio:

1) Ragionamenti complessi: grazie alla sua struttura avanzata, il sistema può analizzare e interpretare istruzioni intricate, estrapolando le informazioni rilevanti e proponendo soluzioni basate su un’analisi accurata dei dati a disposizione.

2) Conoscenza del mondo: oltre alle competenze tipiche dei modelli di segmentazione, LISA incorpora anche know-how relativo a vari settori, come la geografia, la storia e la cultura. Ciò consente al sistema di fornire risposte più complete e realistiche, tenendo conto dei diversi fattori che influenzano la percezione e l’interpretazione delle immagini.

3) Risposte esplicative: LISA non si limita a fornire risposte concise e dirette, ma offre anche spiegazioni dettagliate, approfondendo gli aspetti che hanno portato alla determinazione della soluzione proposta.

4) Conversazioni multi-turn: il sistema è in grado di gestire scambi di domande e risposte, adattandosi alle esigenze degli interlocutori e fornendo informazioni aggiuntive in base alle richieste successive.

Una delle caratteristiche più interessanti di LISA è la sua capacità di agire in modalità “zero-shot”, ovvero senza bisogno di addestramento su task specifici. Infatti, il modello dimostra un’ottima performance anche quando viene allenato esclusivamente su dataset privi di ragionamento.

I ricercatori hanno anche scoperto che la precisione di LISA può essere ulteriormente migliorata attraverso un processo di fine-tuning, in cui il modello viene addestrato su un piccolo numero di esempi di segmentazione basata sul ragionamento (circa 239 coppie di immagini e istruzioni). Ciò ha consentito a LISA di acquisire nuove competenze e di essere ancora più efficace sia nelle task di segmentazione basate sul ragionamento complesso che in quelle di segmentazione standard.

Il progetto LISA rappresenta un importante passo avanti nel campo dell’intelligenza artificiale e della percezione, aprendo nuove prospettive per lo sviluppo di sistemi in grado di “pensare” e di interagire con gli utenti in modo più naturale e intuitivo.

La ricerca svolta in questo ambito dimostra come l’IA possa continuare a evolversi, spingendo i confini delle conoscenze e delle capacità delle macchine sempre più lontano. LISA porterebbe quindi a una nuova generazione di sistemi di IA caratterizzati da una comprensione più profonda del mondo che ci circonda e dalla capacità di fornire risposte e soluzioni di alta qualità basate su un vero e proprio processo di ragionamento.