2018智慧城市优秀解决方案评选

首页 > 大数据自动化部署监控平台 > 方案亮点

方案亮点

SDP平台在架构层面包括6部分,每个部分在集群环境中负担各自的功能职责。功能包括:大数据基础平台、计算分析平台、服务组件平台、机器学习和挖掘平台、数据安全平台、行业应用服务平台。 1、大数据基础平台: 大数据基础平台主要负责整个集群的数据采集,清洗、存储以及大数据集群的管理。 2、计算分析平台 计算分析平台主要负责整个大数据集群的分布式计算和分析。 3、服务组件平台 服务组件平台主要是负责大数据生态圈的相关组件的部署和运行。将大数据生态圈的组件如:Hive、Hbase等独立发布到不同节点机器上。并通过集群管理工具实时监控组件的运行状态、资源使用情况,并对运行过程中的错误、警告等进行错误解析及提醒服务。 4、机器学习和挖掘平台 机器学习和挖掘平台:主要为整个集群平台提供AI方面的服务,提供包括:语音识别、文字识别、图像识别、自然语言处理等一系列技术支撑。 5、数据安全平台 数据安全平台,提供最高级别的安全保障,通过实时软硬件监控服务,对发现的问题,第一时间告警。并拥有对用户访问服务和数据操作行为进行审计的服务功能。 6、行业应用服务平台 行业应用服务平台提供不同行业的业务分析模型和功能,通过应用授权的方式提供给用户,运用接口的方式对外提供服务。 在行业应用服务平台中,可以根据采集到的行业数据,进行深度学习和挖掘,对不同行业的业务,构建不同的业务模型,运用采集到的数据进行机器学习训练,形成某一行业的解决方案,利用可视化的方式,进行在线测试和体验。 SDP经过实践验证,具有以下特点: 1)急速部署:提供简洁的可视化整体安装部署机制,使安装部署由原来熟练技术人员1周完成的工作,提升至2个小时内完成。 2)统一集群与服务管理、智能监控告警服务:提供可视化的集群管理支持以及智能的自动化监控告警服务,帮助运维员提高运维效率、减少管理成本,经验证,运维成本降低大约60%左右。 4)高可用性构建:通过建立主要、次要组件,确保高可用性,并且可以在许多堆栈服务中配置组件的高可用性。在为服务配置高可用性后,还能够管理和禁用(回滚)这些组件的高可用性,使单节点的故障对集群的影响降低为0,保证平台7*24不间断运行。 5)本平台还获得了国内外众多个奖项,包括:国家、省、市软件行业协会的优秀软件产品奖;第十九届中国国际高新技术成果交易会《优秀产品奖》;《顶尖大数据服务奖》;《青岛市2017-2018年度优秀大数据产品》、《青岛市2017-2018年度优秀大数据解决方案》等奖项。 SDP已经运用到光伏大数据、航空大数据、工业舆情大数据、农业大数据等项目中,产生了1900多万的经济效益。 在SDP的研发和项目运用过程中,带动了大量人才就业,也为社会培养了一支技术先进、研发力强的大数据专家团队。通过实施的各项目,提高了各单位的安全生产,降低了人工投入,提高了生产效率。