[00230764]一种数据处理平台和系统
交易价格:
面议
类型:
发明专利
技术成熟度:
正在研发
专利所属地:中国
专利号:CN201710245078.3
交易方式:
完全转让
许可转让
技术入股
联系人:
中国科学院深圳先进技术研究院
所在地:广东深圳市
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
本发明提供了一种数据处理平台和系统。
其中,所述数据处理平台,包括相互交互的Spark集群、ElasticSearch集群和HBase集群;Spark集群,用于监测数据库产生的增量数据,对数据库产生的增量数据进行处理,并把处理后的增量数据导入ElasticSearch集群和HBase集群;HBase集群,用于存储Spark集群处理后的增量数据;ElasticSearch集群,用于将处理后的增量数据与快速查询数据合并。通过本数据处理平台实施例提供的数据处理平台和系统,可以减轻Spark集群的存储压力。