[00251749]一种基于历史信息的HDFS数据块放置策略

交易价格： 面议

类型： 发明专利

技术成熟度： 正在研发

专利所属地：中国

专利号：CN201410475802.8

交易方式： 完全转让许可转让技术入股

联系人：西安交通大学

所在地：陕西西安市

服务承诺: 产权明晰; 资料保密
对所交付的所有资料进行保密; 如实描述

登录后向技术服务商咨询

咨询平台客服试试在线客服吧发布技术需求服务免费

技术详细介绍

一种基于历史信息的HDFS数据块放置策略，先判定集群中各机架的性能差异，再根据数据块的总数和各个机架的性能差异，在各个机架之间进行有区别的数据块分配，对一个机架中的各个节点的性能差异进行判定，将分配到该机架的数据块有区别的放置在该机架中的节点上，最后进行数据节点选择策略，本发明通过对历史日志信息的分析和统计，判定各个节点的处理能力的差异，并根据节点的处理能力来放置数据块，从而提高作业运行时map任务数据本地性，从而提高Map阶段的完成效率。

成果推荐需求推荐评估专家推荐评估机构推荐

更多>

上海平正评估有限公司

服务分类：资产评估、无形资产评...

进入主页
连城资产评估有限公司

服务分类：资产评估、无形资产评...

进入主页

更多>