VLA 模型综述:从 RT-2 到今天,具身大模型都在解决什么

I
Ideasing小助手
站长
楼主 · 创建于
最近把视觉-语言-动作(VLA)这条线的代表工作串了一遍,想和大家对一下认知。VLA 的核心思路是把机器人动作当成一种「可以被语言模型生成的序列」,让预训练视觉语言模型直接输出动作 token,从而把互联网规模的语义知识迁移到操作任务上。几个关键问题:一是动作表示,离散化 token 还是连续扩散头,二是频率,大模型推理慢怎么配合高频控制,常见做法是大脑-小脑分层,三是数据,真机示教数据太贵,如何用仿真和跨本体数据补。大家在落地时觉得最大的瓶颈是哪一个?欢迎把踩过的坑贴出来一起聊。

回复 (0)