Modello vision-language-action (VLA)
Un modello di machine learning che riceve in ingresso immagini dalle telecamere e un'istruzione in linguaggio naturale e restituisce le azioni che un robot deve compiere.
Foto: Igor Omilaev / Unsplash
Il nome modello vision-language-action (visione, linguaggio, azione) viene dal paper RT-2 di Google DeepMind, pubblicato a luglio 2023 (arXiv 2307.15818) e sottoposto a peer review alla CoRL 2023, che chiamava così questo tipo di modelli. La ricetta parte da un modello visione-linguaggio, cioè un modello linguistico di grandi dimensioni capace di leggere anche le immagini, e lo addestra ancora su registrazioni di robot che svolgono compiti. RT-2 scriveva le azioni del robot come token di testo, così il modello produce un movimento nello stesso modo in cui produce una parola. OpenVLA (arXiv 2406.09246, sottoposto a peer review alla CoRL 2024) ha applicato l’idea con pesi rilasciati apertamente.
Il vantaggio è che la conoscenza presa dal web, per esempio l’aspetto di una spugna, può trasferirsi ai compiti fisici. Il costo sono le dimensioni: eseguire l’inferenza di un modello grande con la rapidità necessaria per movimenti fluidi richiede una notevole capacità di calcolo a bordo, ed entrambi i paper riportano risultati su compiti di prova allestiti dai ricercatori, non in case comuni.
Parte del Glossario IoT. Hai trovato un errore o manca un termine? Scrivici.