一种注意力相似度迁移的跨模态哈希检索方法

所属分类：电子信息产业

所属单位：北方民族大学

联系人：-

联系方式：0951-6087161/5020588

所在地：

成果简介

本发明公开了一种注意力相似度迁移的跨模态哈希检索方法，包括：特征提取多模态数据，得到文本特征向量和图像特征图；将图像特征图利用混合自注意力机制分配自注意力权重，利用多头注意力机制对文本特征向量分配自注意力权重，根据自注意力权重大小分别强化关注图像和文本的关键特征；将图像和文本的关键特征进行多模态共同注意力机制处理，将多模态数据特征映射至公共实值空间；计算公共实值空间的特征相似度，利用迁移学习和哈希函数，将相似关系从公共实值空间迁移至哈希空间，训练得到哈希码；根据哈希码计算相似度，并进行排序。本发明能够强化关注图像和文本的关键信息，提升特征提取质量，加强了模态间的信息交互，同时降低了训练难度。

其他成果推荐

更多>

宁夏电信一体化算力服务能力建设成果

所属单位：中国电信股份有限公司宁夏分公司

面向行业赋能的宁夏城市算力平台

所属单位：中国电信股份有限公司宁夏分公司

智能化煤矿机器人集群应用关键技术创新与示范

所属单位：陕煤集团神木柠条塔矿业有限公司

电缆通道智能巡检机器人监控应用系统

所属单位：陕西丰鼎鸿邑电子科技有限公司

综采工作面巷道单元支护装备及智能搬运机器人研发与应用

所属单位：陕西陕煤黄陵矿业有限公司

用于易燃易爆区域的机器人充电系统及充电方法

所属单位：西安量子智能科技有限公司