[00332939]重要行业应用系统大数据分析与综合管理平台

1、立项背景 随着信息技术及互联网的不断发展,应用的响应速度、报错率、精准度等用户体验日趋重要。研究数据表明网站出现1秒的延迟后会导致页面转换率降低7%,流量下降11%,用户满意度降低16%。为了赢得并保留客户,提升用户体验,提高业务质量,未来市场对于APM的市场需求将进一步加速释放。而在大数据时代,未来市场将从性能监测与优化服务为主体,逐渐转向以性能分析与优化、用户行为分析、业务运营效果分析以及绩效分析等多领域共同推进市场发展的阶段。 2、技术原理及性能指标 系统运行状态数据采集、应用系统行为数据采集以及应用系统业务数据采集方面主要采用JAVA技术实现,通过javaagent技术以及BCEL技术在不修改应用程序代码的的情况下运用动态字节码插针技术挂载“钩子”,达到代码级运行态的监控效果,通过大量算法技术以及顶层ClassLoader技术将探测代码注入到类,在不影响原系统运行状态及效率的前提下,完成了性能数据的收集以及SQL语句、方法、Socket、I/O、数据库响应情况、JDBC资源使用及生命周期管理等的实时监控。系统底层运行数据采集方面主要运用C++语言实现数据采集,利用JNI（JAVA Native Interface）调用的C Library采集信息,在数据存储方面基于ISAM技术研发了文件数据库,实现序列化数据的高效存储及读取,可以在TB级数据下实现秒级查询,系统完美匹配飞腾、龙芯、鲲鹏等芯片,适配红旗、统信、麒麟等操作系统,可以在国产芯片及操作系统架构下实施部署。 3、项目的先进性 1)监控为实时监控,性能数据获取间隔可以达到毫秒级数据获取,警告数据以及业务代码数据实时监控 2)JDBC监控中针对资源的细粒度监控,可以监控到JDBC资源的未释放代码以及数据库交互过程中出现的异常如：Connection 资源未释放、PSTMT资源未释放、RS结果过大以及未释放以及参数不符合数据库存储格式的详细情况（长度、类型等） 4)线程池的详细监控,不仅包含线程数量以及调用线程的应用,还包含实时的线程执行情况,实时反馈线程执行到哪一步,哪条SQL语句（含当时参数,技术领先）,以及数据库当前返回了多少行数据,并且可以对僵尸线程、互锁线程以及占用资源的线程进行人工干预,进行线程释放操作。 5)监控指标深,CPU可以监控到每线程CPU用量,内存可以监控到内存中类的实例个数,可以监控到GC次数以及GC耗时。 6)SocKet以及I/O的监控,全链路监控SocKet通讯端口的流量情况,并且针对堆栈进行全量抓取 7)系统告警全面且深度,可以监控JAVA应用所产生的各类exception堆栈,情景溯源,将异常逻辑产生的代码全面监控记录 8)针对业务访问的请求非采样监控,而是全量采集,可以监控到所有应用接收到的业务请求,并且全量展示. 4、安全性及适用范围 本项目适用于金融、政府、电力、工控、交通、医疗、电信、互联网等诸多行业。 金融领域,业务系统的数据分析与管理主要包括办公自动化系统、集团财务系统、反洗钱系统、企业贷款系统、个人贷款系统、门户系统、指纹认证系统、核心业务系统、柜面系统、个人网银、企业网银、电话银行、ATM终端系统、税库银系统、统一认证平台、数据报表系统、银联业务系统及综合前置系统等; 工业控制领域主要包括电解信息系统,上位机控制系统、生产数据采集系统、生产计划系统、阳极信息系统,碳块管理系统、石油焦管理系统、回转窑红外测温系统、铸造信息系统,铸造车间管理系统、铝产品铸造系统、铝产品质量分析系统、物流信息系统,铁路车辆信息管理系统、报表平台管理系统、库存数据分析系统; 公共安全领域,公安应用系统主要包括刑事案件研判系统、警务综合管理系统、禁毒支队数据分析系统、物流研判系统、特种行业管理系统等。 税务系统主要应用于金税三期、电子税务局、发票管理2.0等系统 我公司相继在以上领域进行了使用测试与试点部署,测试与使用结果表明,该产品可以对重要行业应用系统实现有效监控,可以辅助运维人员对系统进行管理,变被动为主动,被监控系统产生的大数据可以进行深度挖掘与分析,为业务决策提供量化的数据支撑。 5、应用情况 本项目由高德瑞信自行转化,产品已推广到全国,目前已经在13个省、30余城市实现了应用,主要客户有南京银行、吴江银行、吉林省农村信用联合社、日照银行、齐鲁银行、长春农商行、中交集团、人保、航天科工二院706研究所、大连市税务局 6、获奖情况 本产品获得2018年中国IT服务十大创新产品（国家级）、2019年优秀软件产品证书、国家互联网数据中心产业技术创新战略联盟创新奖二等奖。