大学教育网

从大型语言模型中提取零样本常识用于机器人3D场景理解

导读 场景理解是机器人技术的主要挑战。机器人系统必须能够对大量环境和其中的实体进行语义理解。例如,如果被要求去厨房拿勺子,机器人应该了解

场景理解是机器人技术的主要挑战。机器人系统必须能够对大量环境和其中的实体进行语义理解。

例如,如果被要求去厨房拿勺子,机器人应该了解厨房是什么,利用它的知识来确定哪些位置可能是厨房,并分割物体以识别要拿的勺子。

arXiv.org 上最近的一篇文章展示了如何将大型语言模型用于此类任务。研究人员使用启发式方法挑选出房间内存在的少量语义信息对象,用这些对象标签构造一个查询字符串作为房间的描述,并将字符串传递给语言模型以推断房间的标签.

该方法不需要任何训练或微调,即使在零样本情况下也能实现良好的推理准确性。