[00244975]面向海量数据流的实时并行分类方法
交易价格:
面议
类型:
发明专利
技术成熟度:
正在研发
专利所属地:中国
专利号:CN201610406845.X
交易方式:
完全转让
许可转让
技术入股
联系人:
四川大学
所在地:四川成都市
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
本发明公开了一种面向海量数据流的实时并行分类方法,所述的方法包括以下步骤:步骤一、数据Spout;步骤二、过滤批化Bolt;步骤三、模型Bolt;步骤四、局部统计与计算Bolt;步骤五、评估Bolt。本发明针对大数据“4V”特点中Volume(海量)、Velocity(高速)、Value(价值)这“3V”特点和海量数据高效处理的需求,实现了基于Storm平台的垂直并行化P‑VFDT算法;在大规模数据上的实验表明,P‑VFDT算法和VFDT算法有着相近的分类性能,但是单机多核环境的P‑VFDT算法比VFDT算法耗时约少12%,集群环境的P‑VFDT算法比VFDT算法耗时约少8%。