（1）基于深度学习与机器视觉的黄花菜识别定位方法
基于视觉图像的三维重建过程如下：摄像机标定，并建立成像模型，保证摄像机的内外参数得到解析，使用图像的坐标，组合得到空间中多个三维点的坐标；在进行图像处理之前，使用相机获取三维物体的二维图像，完成图像采集；开展特征提取，特征主要包括特征点、特征线和特征区域，特征点被用作匹配原语；开展立体匹配，根据提取的特征，完成图像对之间的配对，即两幅不同图像中同一物理空间点的成像点一一对应；利用摄像机标定的内外参数恢复三维场景信息，完成三维重建；根据初始化视觉信息，确定当前环境的黄花菜可采摘点感兴趣区域。开发深度视觉系统，形成具有容错能力的联合定位框架；开展机械臂的正逆运动学分析，实现机械臂姿态动态调整。
（2）基于仿人思维的多工况作业参数决策优化方法
开展物理约束神经网络与多目标优化决策，构建数据-机理融合的智能决策模型，分析网络架构，设计双路交叉神经网络，主路径采用多层全连接结构学习工况参数与切削响应的非线性映射关系；辅助路径嵌入力矩平衡方程等物理先验知识，约束网络输出符合力学规律。通过末端执行器集成多物理量传感器（六维力觉、惯导、应变片），采集菜园实景数据集。探讨优化决策，基于深度强化学习框架，建立以采摘效率、能耗、损伤率为优化目标的多目标模型。采用改进NSGA-II算法在四维参数空间内搜索Pareto最优解集，结合模糊综合评价筛选全局最优工况（如转速和进给速度）。开发动态自适应机制，根据环境光照与黄花菜颜色等信息，实时自适应调整控制参数。

研究团队在国家自然科学基金、广东省自然科学基金、广东省科技攻关项目等资助下，开展了采摘机器人关键技术研究，研制了具有自主产权的菠萝采收机器人、荔枝采摘机器人、番石榴采摘机器人，如图 1所示，取得了采摘机器人及采摘机构的相关研究成果，其中申请发明专利12项，实用新型专利8项，发表论文100多篇，获得广东省科技成果三等奖一项。项目组与佛山市中科农业机器人与智慧农业创新研究院、广东若铂智能机器人有限公司等单位保持长期合作关系，已在水果采摘智能装备领域开展产业化应用。

图 1 项目组研发成果
(a) 菠萝采收机器人；(b) 荔枝采摘机器人；(c) 番石榴采摘机器人