[00320854]基于机器学习的大数据平台配置自动优化方法
交易价格：
面议
类型：
非专利
技术成熟度：
可以量产
交易方式：
完全转让
联系人：
中国科学院深圳先进技术研究院
所在地：广东深圳市
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
技术成果介绍,本项目是研究一种基于机器学习的大数据平台配置自动优化方法，该方法在大数据平台的大量配置参数组合
形成的高维空间里，能够利用机器学习方法智能高效地寻找一个最优解，从而改善系统性能，具有智能化、自
动化、高效率的特点。克服了目前大数据平台优化中人工优化效率低、效果差、容易出现不当配置等问题。
技术特点
1.自动收集训练样本集，包括系统配置参数和系统性能的对应关系、数据集的大小与结构；
2.自研分层模型建模算法，并与随机森林算法结合得到完整的机器学习方案，基于训练样本集搭建集群性
能预测模型，能够直接对输入待优化配置参数的性能进行预测；
3.利用了遗传算法，以预测的系统性能作为每组参数的适应值，寻找使系统性能最优的配置参数组合。主要技术指标及优势,主要技术指标
1.优化耗时；
2.集群资源的利用率；
3.大数据平台的任务执行效率。,优势
1.基于机器学习的大数据平台配置自动优化方法的优化速度远快于人工优化，能够避免不当配置导致系统
崩溃，降低成本；
2.优化集群资源的合理分配，最大化集群资源利用率；
3.实验表明相较默认配置，该优化方法实现了执行效率提高89倍优化效果。知识产权专利名称一种基于机器学习的集群配置自动优化方法，申请号CN2019108****4.4主要应用领域大数据处理技术、大数据平台优化。市场前景及经济效益预测,在大数据技术领域，各个企业的数据处理与分析都离不开各种分析处理框架，诸如Spark、Flink等，这些
框架均提供了上百个配置项以满足灵活性的要求，大部分企业尤其是中小企业都采用人工的方法进行优化，耗
时长成本高且很难达到预期效果。华为公司同样有这个痛点存在，并且率先看到了我们智能优化技术的潜力与
我们合作，对于像华为这种体量的公司，在企业云、通信等领域，大数据处理的效率的提升都有迫切的需求，
这能直接为华为带来以亿计的设备、人工等成本上的降低，并间接提高华为在云市场的份额。未来我们可以和
更多的公司进行合作，这将带来难以估量的经济效益。产业化需求及生产条件,1.需要一定规模的计算机集群实现智能调优；
2.需要和企业开展更多合作，实现产品化。
APP下载
微信公众号
