视觉感知驱动的机器人具身智能，具体研究内容包括：多粒度场景语义理解（语义分割、实例分割、指称分割等）；交互语义分析（2D抓取检测、6D抓取位姿估计、物-物关系检测、人-物关系检测、物体可供性推理等）；机器人建图与导航（3D场景重建、语义SLAM、物体导航、视觉语言导航等）；任务感知与分析（任务主动发现、任务自主规划等）。基于场景理解获取的几何、语义、可供性等信息构建机器人对工作环境的认知模型，基于大语言模型引入常识知识提升机器人的工作环境认知模型，从而提高机器人对新工作环境的适应性及其在环境中提供服务的自主性。

实验室有充足的计算资源、良好的机器人系统平台（Kinova Gen２，Tiago＋＋）用于实验验证，基于项目组同学针对实例分割、抓取检测、可供性推理、交互语义分析、抓取位姿估计、３D场景重建、室内导航等展开的研究工作，已搭建了相关原型系统。