[00230775]一种异构集群的Hadoop矩阵处理方法及系统
交易价格:
面议
类型:
发明专利
技术成熟度:
正在研发
专利所属地:中国
专利号:CN201511028067.7
交易方式:
完全转让
许可转让
技术入股
联系人:
中国科学院深圳先进技术研究院
所在地:广东深圳市
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
一种异构集群的Hadoop矩阵处理方法。
Hadoop矩阵处理方法包括以下步骤:搭建一个物理集群,设置一个Master节点及多个Slaver节点;在所述Master节点及多个Slaver节点上分别配置Java开发环境下的编程环境,并预编矩阵相乘CUDA版的Map和Reduce代码;读取内存中已存储第一矩阵A及第二矩阵B的相关信息,并根据预编代码对所述存储的第一矩阵A及第二矩阵B进行MapReduce矩阵相乘运算;控制运算结果直接写进分布式文件系统HDFS;其中,所述A=(aij)是m×s的矩阵,B=(bij)是s×n的矩阵。本发明从算法角度提升Hadoop矩阵相乘性能有限,能够更深层次提高程序的性能,有效提高了矩阵相乘运算的效率。