随着气象数据数据采集设备和技术的升级，可获取的气象数据规模及结构复杂性均大大增加，这对气象数据的存储、利用、处理和分析等均提出了更高的要求，因此迫切需要采用适当的技术架构及策略，更好地利用和分析气象数据，为天气预报、气候研究及社会公共服务提供更大的价值。本科技成果主要涉及基于Hadoop生态技术开发一套气象数据分析与可视化系统，该系统通过Flume将采集到的结构化气象数据实时发送到 Kafka 消息系统中，利用 Spark 技术从消息队列中获取实时数据并进行数据清洗、转换、归一化、聚合、汇总、分组等操作，实现气象数据的多维度分析，最后将处理后的数据进行可视化，以图表、图形等形式进行展示。
本科技成果已于2023年申请软件著作权“气象数据分析与可视化系统”，登记号为：2024SR0311185
本科技成果已于2023年发表论文一篇，论文引用：刘丽景,刘力维,王林,等.基于Spark技术的气象数据分析[J].黑龙江科学,2024,15(02):56-59.