摘要：人能够在复杂感知的相互协调下做出决策并完成灵巧操作。将视听觉和力触觉等不同模态相融合,可以提高操作者对虚拟场景或远程环境的感知,进而改善操作效果。如何协调人的操作和虚拟环境中目标机器人系统的自主性,则是人机交互中的一个关键问题。为此,本文基于Unity3D引擎建立了虚拟场景,并实现了omega.7力反馈平台与虚拟场景之间的通信。进而,创建了基于碰撞检测的虚拟距离传感器,实现了虚拟场景中目标机器人对周围环境的探测。然后,设计实现了人机力触觉交互共享控制算法,将人的智能决策与灵巧操作优势同目标机器人的自主算法相融合,使得目标机器人系统的控制权限可以在人手操作和机器人自主算法之间连续平滑转移。由此,实现了人与虚拟环境和目标机器人之间功能多样、场景逼真的视听觉和灵巧力触觉多模态交互,从而为医学、康复、军事、娱乐等领域中的人机交互提供了一种解决方案。

关键词：人机灵巧力触觉交互 虚拟传感器 力触觉共享控制 多模态反馈 虚拟场景 

单位：南开大学机器人与信息自动化研究所; 天津300353; 天津市智能机器人技术重点实验室; 天津300353