所属分类：电子信息产业

所属单位：厦门大学

成果简介：一、项目简介随着科技进步和社会需求的发展，机器人手/臂除了工业生产，也越来越多用于服务人类的其它各个领域，这必然会使机器人承担比工业中更加多样的操作任务，面临更加多变的工作环境。因此，国内外对非结构自然环境下、具备自主操作能力的机器人的研究十分重视。当前，具备视觉感知能力的机器人已被公认为机器人发展的主流趋势，将视觉与机器人操作相融合，是对人类行为的模拟，由此产生的视觉伺服控制方法为机器人自主操作能力的实现带来了新的思路，代表了机器人的先进控制技术，也是促进机器人智能化发展的一个重要驱动。可以预见，未来的视觉系统将会成为机器人名副其实的眼睛，视觉伺服技术在机器人自主操作中将具有不可替代的作用。视觉伺服利用视觉传感器提供的环境信息对机器人运动进行实时反馈控制，涉及机器人机械几何设计、运动学和动力学、自动控制理论、计算机视觉图像处理和摄像机标定等,是智能机器人领域中具有重要理论意义的研究课题之一。迄今为止，机器人手/臂的视觉伺服方法在太空遥操作、机器人手术、水果采摘、工业装配、焊接、抓取以及微操作等方面得到越来越多的应用。然而，现阶段可实际应用的方案主要面向特定的标定环境、模型参数已知，机器人操作是编码定式的，不具备模型未知条件下的自主操作能力，特别是当面向未来的刚-柔-软体共融机器人时，其柔型结构造成的运动模型及参数的变化与不确定性，必然使现有确定模型的研究方法失效。因此，无模型（目标几何模型，手眼标定模型，机器人运动模型）、非结构环境下的自适应操作对机器人提出了新挑战，是机器人手臂(尤其柔型手臂)视觉伺服控制研究的难点与前沿问题，不断深入对非结构环境下、无模型的机器人手/臂视觉伺服控制的研究具有重要的理论和现实意义。在非结构自然环境下使机器人像人一样协调自适应操作是当今机器人研究领域的一项尚未实现但又令人感兴趣的研究工作。从理论上看，非结构自然环境下实现机器人柔性操作，就当前研究依靠单一的控制器设计是困难的。因此，本项目借鉴人的手眼协调操作是自适应学习过程，涉及智能进化和行为优化，将随机动态规划理论，结合约束规则与最优化控制，探索一种变参手眼关系，实现机器人在非结构自然环境下的自适应操作。二、前期研究基础研究团队一直致力于机器人视觉反馈控制的研究。在基础理论研究上，针对无标定视觉伺服控制方案与设计，均提出了一些新型方法，有扎实的理论基础和知识积累，并不断跟踪和深入在无模型视觉伺服控制的方面研究和前沿问题。目前，已经着手在无模型视觉伺服的可靠性、稳定性控制方面做了充分的探索工作：针对机器人无标定全局稳定操作问题，研究了一种鲁棒卡尔曼滤波(RKF)合作Elman神经网络(ENN)的全局稳定视觉伺服控制方法；提出了一种基于网络辅助尔曼滤波状态估计的无标定视觉伺服方法，提高伺服系统的鲁棒性。同时，立足机器人发展前沿，建立了多模特征深度学习抓取系统，在无结构环境下实现了机器人智能抓取与定位。已发表的与项目相关的主要论文有：[1]仲训杲,徐敏,仲训昱,彭侠夫.基于多模特征深度学习的机器人抓取判别方法.自动化学报,2016,7(42),pp:1022-1029.(EI)[2]XungaoZhong,XunyuZhongandXiafuPeng.RobotsVisualServoControlwithFeaturesConstraintEmployingKalman-Neural-NetworkFilteringScheme.Neurocomputing,2015,151(3),pp:268-277(SCI)[3]XungaoZhong,XunyuZhongandXiafuPeng.RobustKalmanFilteringCooperatedElmanNeuralNetworkLearningforVision-Sensing-BasedRoboticManipulationwithGlobalStability.Sensors,2013,10(13),pp:13464-13486.(SCI)[4]XungaoZhong,XiafuPeng,XunyuZhongandLixiongLin.DynamicJacobianIdentificationBasedonState-SpaceforRobotManipulation.AppliedMechanicsandMaterials,vols.475-476(2014)pp:675-679.(EI)[5]XungaoZhong,XiafuPeng,XunyuZhongandXuerenDong.Multi-ChannelwithRBFNeuralNetworkAggregationBasedonDisparitySpaceforColorImageStereoMatching.IEEE5thInternationalConferenceonAdvancedComputationalIntelligence(ICACI),10(2012)PP:620-625.(EI)[6]XUNGAOZHONG,XIAFUPENG,XUNYUZHONG.NEURAL-BAYESIANFILTERINGBASEDONMONTECARLORESAMPLINGFORVISUALROBUSTTRACKING.JournalofTheoreticalandAppliedInformationTechnology,2013,2(50),pp:490-496.[7]XungaoZhong,XiafuPengandXunyuZhong.Severe-DynamicTrackingProblemsBasedonLowerParticlesResampling.TELKOMNIKAIndonesianJournalofElectricalEngineering.2014,12(6),pp:4731-4739.[8]XunyuZhong,XungaoZhongandXiafuPeng.Velocity-Change-Space-basedDynamicMotionPlanningforMobileRobotsNavigation.Neurocomputing.2014,143(11),pp:153-163.(SCI)[9]XunyuZhong,XungaoZhong,XiafuPeng.VCS-basedmotionplanningfordistributedmobilerobots:collisionavoidanceandformation.SoftComputing,2016,5(20),pp:1897-1908.(SCI)[10]仲训杲,徐敏,仲训昱,彭侠夫.基于雅可比预测的机器人无模型视觉伺服定位控制,控制与决策,已在线发表,2018.[11]仲训杲,徐敏,仲训昱,彭侠夫.基于图像的机器人非标定视觉反馈控制全局定位方法,厦门大学学报(自然科学版),已录用,2018.三、应用技术成果（一）基于多模特征深度学习的机器人抓取判别研究了多模特征深度学习及其在机器人智能抓取判别中的应用，该方法针对智能机器人抓取判别问题,研究多模特征深度学习与融合方法.该方法将测试特征分布偏离训练特征视为一类噪化,引入带稀疏约束的降噪自动编码(Denoisingauto-encoding,DAE),实现网络权值学习;并以叠层融合策略,获取初始多模特征的深层抽象表达,两种手段相结合旨在提高深度网络的鲁棒性和抓取判别精确性.实验采用深度摄像机与6自由度工业机器人组建测试平台,对不同类别目标进行在线对比实验.结果表明,设计的多模特征深度学习依据人的抓取习惯,实现最优抓取判别,并且机器人成功实施抓取定位,研究方法对新目标具备良好的抓取判别能力.（二）无标定视觉伺服解决方案及其机器人操作应用研究了无标定视觉伺服方法及其在机械臂任务操作中的应用。首先提出视觉伺服目标：假设机器人或者摄像节的模型参数未知或者部分未知，视觉伺服的目标是使用摄像节作为传感器，引导机械臂运动，使当前图像特征收敛到期望图像特征，从而完成定位或者跟踪的任务。手眼协调关系描述。关节图像雅克比矩阵定量描述了机械臂关节变化引起图像特征变化，它是关节-图像映射的局部线性化矩阵。建立图像雅克比的在线估计器。将关节图像雅克比矩阵的每一个元素作为辅助系统的状态，建立辅助系统的状态方程；摄像机提取到的图像特征作为测量值，建立辅助系统的观测方程。根据Kalman滤波器理论，我们设计了对关节图像雅克比的在线实时估计算法。构建基于图像矩的目标函数。为了避免传统的基于点特征的缺陷，例如点特征的标记、提取与匹配过程复杂且通用性较差问题。构建基于图像矩的图像特征向量完成视觉伺服任务，来提高视觉伺服系统的稳定性和可靠性。起始时刻相机图像起始时刻机器人空间图像任务操作结束时相机图像任务操作结束时机器人空间图像四、合作企业厦门**科技股份有限公司是一家集销售、软件研发、技术服务、加工技术整合为一体的高新技术企业。目前公司的经营范围涉及CNC软件开发及数控系统销售、CNC控制零件销售及专业维修；工艺优化、机台升级与技术改造、工程配电与软件优化、专用机控制系统开发、多轴机的设计与开发、机台精度检测与校正优化服务等。公司是国际知名生产制造企业——富士康的产品供应商和技术服务商。

所属分类：电子信息产业

所属单位：汉中益丰华茂农业科技发展有限公司

成果简介：1.基于图像识别的食用菌病害早期预警方法，其特征在于：包括以下具体步骤：S1、采集待测食用菌的全景图像，将图像导入图像处理软件中对图像进行处理，包括以下具体步骤：S11、提取两次采集的待测食用菌的全景图像，进行清晰化处理后分别得到第一、二清晰图像；S12、对第一、二清晰图像进行像素点的划分，提取各像素点的像素值，构成像素值序列，分别表示为 、 ，表示第一清晰图像第i个像素点的像素值，表示第二清晰图像第i个像素点的像素值；S2、将处理后的图像导入病害侵入值计算策略中，得到病害侵入值，病害侵入值计算策略包括以下具体步骤：S21、根据两个像素值序列，计算第一、二清晰图像像素比，图像像素比计算公式为：；S22、根据两个像素值序列 ， 、图像像素比k、两次采集时间间隔t，计算病害侵入值，计算公式为： ，其中 表示病害侵入值，时间间隔t的单位为小时；S3、将处理后的图像导入病害蔓延值计算策略中，得到病害蔓延值，病害蔓延值计算策略包括以下具体步骤：S31、识别病害区域像素点，分别统计两张图像的病害区域像素点数量，分别计算两张图像的病害区域像素点面积，分别表示为 、，计算公式为： ， ，其中 为第一清晰图像病害区域像素点面积，为第一清晰图像病害区域像素点数量， 为第二清晰图像病害区域像素点面积， 为第二清晰图像病害区域像素点数量，为第一清晰图像或第二清晰图像像素点总数，为图像面积，单位为平方厘米；

所属分类：电子信息产业

所属单位：陕西西影数码传媒科技有限责任公司

成果简介：本项目聚焦于基于深度学习的影像修复技术，旨在解决因各种原因导致的影像质量受损问题。通过利用深度神经网络强大的学习和特征提取能力，对模糊、噪声、缺失或损坏的影像进行智能修复。研究过程中，收集大量的影像数据用于模型训练，不断优化算法，提高修复的准确性和真实性。该技术不仅能够恢复老照片的清晰与色彩，还能在医疗领域修复受损的医学影像，辅助医生更准确地诊断病情；在影视行业，修复经典影片，提升观众的观看体验。在技术实现上，融合了多种先进的深度学习架构，如卷积神经网络和生成对抗网络，并结合图像先验知识和人类视觉感知模型，以获得更符合人类视觉感受的修复效果。本项目的研究成果有望广泛应用于多个领域，为相关行业带来显著的价值和创新。

所属分类：电子信息产业

所属单位：西安沃克孚斯电子科技有限公司

成果简介：基于图像分割的医学脑机互动服务系统的研究目的是开发一种准确、高效的图像分割算法，用于处理医学影像中的脑部结构。这将有助于提高医学脑机互动技术的精度和可靠性，为医疗领域带来更多的应用机会。主要体现在以下几个方面： 提高医学脑机互动技术的准确性：通过准确地分割出医学影像中的脑部结构，可以更精确地解读和理解脑部活动，从而提高医学脑机互动的准确性和可靠性。 改善医疗领域的治疗效果：医学脑机互动技术在帮助患者恢复失能功能、改善生活质量方面具有巨大潜力。通过开发图像分割算法来提高医学脑机互动技术的效果，可以改善医疗领域的治疗效果，使更多的患者受益。 推动医学脑机互动技术的发展：医学脑机互动技术是一个新兴而快速发展的领域。通过开展基于图像分割的研究，可以推动医学脑机互动技术的进一步发展，为未来的医疗领域带来更多的创新和应用。

所属分类：电子信息产业

所属单位：陕西风华时代环保科技有限公司

成果简介：装置包括有操作箱、双向电机和N型立杆，操作箱的正面安装有放置板并在顶部安装有双向电机，操作箱的顶部安装有两组N型立杆，操作箱的正面和背面均安装有L型立杆，L型立杆的正面安装有电动伸缩杆贯穿L型立杆的内部，两组电动伸缩杆的背面和正面各安装有衔接板并位于操作箱的上方，衔接板的两侧外壁均安装有L型板，其中一组背面安装有置物板，两组N型立杆的顶部均安装有支撑杆,操作箱的正面安装有控制器。在使用过程中，启动电动伸缩杆，其在电力的控制下向外延长自身长度，可将衔接板向被检测金属板块一侧推动，直至衔接板的外壁与被检测金属板块的外壁贴合为止，此时底板位于金属板块的下方，而后启动电动收缩杆，其向内收缩自身长度，可将活动板向下拉动，直至活动板的底部与金属板块的顶部贴合为止，而后启动电动伸缩筒，其在延长自身长度时可将活动块和延长块向金属板块所在位于推动，直至活动块的外壁与金属板块的外壁贴合为止，此时通过以上操作可将金属板块夹住，而后启动转动电机，其内部在通电后，可促使其输出端所安装的轴杆转动，而后可带动电动伸缩杆及其被检测金属板块转动，可便于金属板块调整被检测面，可将其原有底面调整至上方，此操作方便装置一次性对被检测金属板块的顶面和底面进行检测，同时避免人工对被检测金属板块进行调整。

所属分类：电子信息产业

所属单位：陕西丰鼎鸿邑电子科技有限公司

成果简介：基于机器视觉隔离开关具有信息采集、分析、控制为一体，具有应用面广、数据量大、实时处理等特点，极大的减少了人的工作量，具有提高检测效率和准确率的特点，面向安检机智能视觉系统的开发，实现危险品自动识别任务，系统拥有完全自主知识产权，拥有灵活、简单的拓展能力，基于“数简”简算核心算法体系，赋能客户建立简洁高效的大数据管理体系，满足组织内多级多部门纵横联通数据共享的需求，基于数据处理全流程自动化、智能化的核心技术，提供数据存储、管理、发布、服务、应用、开发的基础能力，实现个性化、精准、低成本的实时动态数据处理过程，为数据资源共享、数据展现、查询统计、分析应用提供高性能基础、灵活运算框架与安全运维环境，仅需设定规则，数据接收即发布，实时解压、上传、入库、发布、应用，元数据智能解析采集、自动检查入库数据有效性，空间数据生产全流程智能，采用扩展性强、灵活度高的数据组织与存储方式，基于弹性分布式计算数据集处理算法，融合多节点计算与内存并行计算模式，实现数据一经获取，无需切片即可发布、管理、处理、应用，不形成中间数据和成果，节省存储空间，保持数据完整性，实现了时空数据在线全流程精简自动化、全面提升用户体验的全生命周期环节创新，适应基础地理信息、行业管理部门与企业的数据服务与资源共享、全链条便捷应用与算法接入，设备云远程综合管理系统不是一套单纯的设备管理系统，而是一种先进的新型售后服务模式。

所属分类：电子信息产业

所属单位：西安伟思德美信息科技有限公司

成果简介：系统由用户管理、视觉处理、试卷识别、数据管理四部分组成，每一部分有若干个功能模块，其中用户管理包括个人密码账号管理、登录和注销等日志管理；视觉处理包括图像采集、图像存储、图像预处理和试卷模板设计；试卷识别包括定位信息提取、精确定位和填涂信息识别；数据管理包括学生信息管理、学生成绩管理和试卷存档管理。 使用Visio软件绘制试卷答题卡标准模板后存储为PDF文件供打印使用，存储为JPG格式，大小为2480X3508像素作为标准模板图像。 试卷图像识别进行图像灰度化、图像二值化、图像倾斜矫正等预处理，图像倾斜矫正采用仿射变换方法,仿射变换是一个二维坐标(u,v)到二维坐标(x,y)之间的线性变换，图像仿射变换的过程就是图像倾斜矫正的过程,且变换后的图像具有平直性、平行性，以尽可能地减小噪声和人工操作对图像识别的影响，保证后续试卷图像识别结果的正确性。 效益：系统可以高效、高质的识别检测统计试卷，实现试卷自动化识别检测合分，达到了试卷表面信息识别存档与检测自动化、智能化的合分综合要求，降低了教学运营成本，帮助老师在出卷、阅卷这两项繁琐的工作中减轻负担，减少错误，建立了一套安全、高效的试卷管理机制和方法，满足了我国教育考试改革的迫切需要。

所属分类：电子信息产业

所属单位：西安施德普遥感科技有限公司

成果简介：遥感影像土地利用类型人工智能识别软件，作为公司的杰出成果，成功实现了对遥感影像数据的智能化处理与土地利用类型的快速识别。该软件集成了深度学习、图像处理及地理信息分析等先进技术，通过大规模训练和优化，显著提升了识别精度和效率。 在软件研发过程中，我们充分考虑到不同区域、不同尺度下的遥感影像特点，针对性地设计了多种算法模型，以适应复杂多变的实际应用场景。同时，软件还提供了友好的用户界面和强大的数据处理能力，使用户能够方便地进行数据导入、参数设置和结果输出等操作。 该软件在多个领域具有广泛的应用前景。在环保和生态监测领域，它可以实现对自然资源的精准监测和评估，为生态保护提供有力支持；在城市规划和基础设施建设领域，它可以辅助规划部门快速了解土地利用现状，为城市规划提供科学依据；在农业领域，它可以帮助农民精准了解作物长势和土壤状况，为精准农业提供数据支持。 遥感影像土地利用类型人工智能识别软件不仅体现了我国在遥感技术和人工智能领域的创新能力和水平，也为相关行业和领域的发展提供了强有力的技术支撑。未来，我们将继续深入研发和优化该软件，拓展其应用领域和范围，为推动我国科技进步和社会发展做出更大的贡献。

所属分类：电子信息产业

所属单位：陕西长空齿轮有限责任公司

成果简介：本发明涉及图像检测技术领域、具体涉及一种滚刀磨损图像识别测量方法及系统，该方法具体包括以下内容：获取各刀身区域及刀身区域中各连的通域；构建各连通域的角点的反光差异系数；根据连通域边界像素点邻域范围内的LBP 值及角点数量构建相邻两个边界像素点之间的序列差异值及连通域的边界崎岖指数；根据方形窗口内的纹路方向角度、角点数量、窗口中心像素点的MLBP值以及连通域的角点反光差异系数构建方形窗口的纹路方向特征值：构建相邻两个像素点之间的相邻窗口差异性系数；构建连通域的内部混乱系数，结合连通域的边界崎岖指数构建连通域的磨损指数；基于各连通域的磨损指数从而获取微崩刃连通域。本发明可提高滚刀磨损识别的准确性。

所属分类：电子信息产业

所属单位：陕西长空齿轮有限责任公司

成果简介：本发明涉及裂纹检测技术领域，为了解决未能获取到合适的分裂阈值，导致获取的裂纹分布情况不够完整，裂纹检测较差的技术问题，具体涉及一种基于机器视觉的合金裂纹无损检测方法。该发明通过构建每个节点数据的连通图；根据每个节点数据的连通图上相邻节点数据之间相对距离，以及连通图内节点数据的邻域分布特征，获得对应连通图上节点数据的局部连通性，结合每节点数据的梯度幅值以及相邻节点数据之间角度的变化特征，获得每个节点数据的分裂修正参数；进一步获得修正分裂阈值；对所有连通图采用动态分裂聚类算法，获得多个连通聚类簇；根据每个连通聚类簇的形特以及尺寸特征，获得每个连通聚类簇为裂纹簇类的概率；对合金灰度图像进行裂纹检测。本发明通过获得每个节点数据准确的分裂阈值，提高裂纹检测的准确度。

所属分类：电子信息产业

所属单位：陕西长空齿轮有限责任公司

成果简介： 本发明涉及图像数据处理技术领域，具体涉及一种基于计算机视觉的齿轮表面损伤检测方法，包括：获取齿轮灰度图像，确定齿轮灰度图像中齿轮像素点的八邻域方向上的各个延展像素点；将齿轮像素点与其八邻域方向上的各个延展像素点相连通组成的区域作为连通节点：确定各个连通节点之间的聚类距离，根据聚类距离构建连通图，进而获得各个最优聚类簇；根据各个最优聚类簇中连通图的图像特证，判断待检测齿轮表面是否存在损伤缺陷。本发明提供了一种基于计算机视觉的齿轮表面损伤检测方法，通过分析图像的灰度特征信息确定各个区域，将区域作为聚类过程中的节点数据进行后续聚类簇的划分使其划分更清晰，方便对后续的损伤情况进行检查，可以有效提高聚类结果的准确性，进一步提升齿轮表面损伤检测的可靠程度，可在铁路、船舶、航空航天等领域推广应用。

所属分类：电子信息产业

所属单位：陕西长空齿轮有限责任公司

成果简介：本发明涉及齿轮毛刺检测技术领域，具体涉及一种齿轮表面毛刺高精度视觉检测方法。齿轮作为重要的机械传动结构设施，齿轮精度是影响机械设备精度和稳定的重要因素之一。该方法在获取齿轮边缘图像中所有连通图的齿轮节点；通时齿轮节点局部的边缘特征获得局部规整特征，进而获得邻域范围内齿轮节点的局部分布特征与局部特征相似节点，获得局部特征相似节点的位度分布特征，进而获得齿轮节点的信息携带程度，利用信息携带程度对连通图的相邻两个齿轮节点的分裂阈值进行分析 ，得到分裂阈值的修正参数，进而获得修正分裂阈值，再进行连通图动态分裂聚类，根据聚类簇内的齿轮节点分布进行毛刺检测。 本发明对分裂阈值进行修正，避免一个完整的毛刺区域被划分到不同的簇类中，提高了毛刺检测的准确度。