该成果以轮式机器人为载体,实现了一种能够准确判断说话人语音开始与结束的持续录音技术,突破了麦克风录音的时间窗口限制,构建了一个基于大模型提示词技术的人机交互框架,覆盖了展厅场景下的所有用户指令与提问,设计了一种基于父子文档的检索增强技术,提高了检索机器人知识库中的命中率。该攻关课题已立项为哈工大-中移动的重点项目。
该技术能够低成本迁移至现有讲解机器人,利用边端协同的方式,将计算资源部署在展厅的机房,只需要最低24G的显存即可实现机器人与人类讲解员协同或机器人全自动导览。目前已经在哈工大的机器人全国重点实验室展厅接待客人,未来可应用于各大博物馆与展厅。还可以进一步适配并应用于前台接待,会议指引等场景。