Google 和柏林科技大学的一组研究人员透露了可用于控制机器人的多模态 Embodied 视觉语言模型（VLM）PaLM-E，有 5620 亿个参数，融合了视觉和语言处理。当用户发出“高阶指令”，如“将抽屉里的米片拿过我”， PaLM-E 能为装备机械臂的移动机器人平台生成一个行动计划，并自行执行。它执行不同任务不需要预先或重复训练。消除数据预处理或注释给予了机器人更强大的自主控制。PaLM-E 是基于 Google 现有的大语言模型 PaLM，通过加入感觉信息和机器人控制使其有具身性(embodied) 。它能与处理语言的相同方式理解感觉信息。

https://palm-e.github.io/#demo
https://arstechnica.com/?p=1922315