文章详细

爱可生大数据处理技术成功案例业界

软件IC网 / 2016-01-06 09:06:18
  客户介绍:  国务院于年中发布的《中国制造2025发展战略规划》,指明了中国智造是走向制造业强国的必经之路。某全球领先的风电设备研
  客户介绍:
  国务院于年中发布的《中国制造2025发展战略规划》,指明了“中国智造”是走向制造业强国的必经之路。某全球领先的风电设备研发及制造企业,拥有自主知识产权的直驱永磁技术,代表着全球风力发电领域最具成长前景的技术路线,也是"中国智造“的典型代表企业。该公司生产的产品不仅得到国内市场的高度认可,还进入了欧、美、澳、非等海外市场,成为国内第一、国际领先的风电制造商及风电整体解决方案提供商。
 
  项目背景:
  截至2013年12月31日,该公司生产的风机全球累计装机容量超过19GW,装机台数超过14,000台。该公司所售风机集中由全球监控系统进行统一的数据汇总,为全球各风场提供风机运行的实时监测、故障预警、营收的信息统计与决策支持。每台风机具有数百个传感器,实时向全球监控系统提交和汇总数据。历史存量数据和每天的增量数据是一个非常大的数据量级,对数据的存储、处理与分析提出了极大的挑战。设计良好的大数据系统将会对提高风场的运维水平,进行风险优化评估和预防性检修,对风场营收带来巨大的价值,否则数据反而会成为灾难。
 
  业务挑战:
  全球监控系统目前全球已有1万多台机组数据接入,而且增长迅速,到年底将会有超过2万台风机接入。主要的业务挑战面临以下几个方面:
  •  数据处理性能:为接纳数万台风机的并发实时数据吞吐,需要对数据进行分层处理,建设包括实时库、关系库、分析库与数据仓库的一体化解决方案,才能保证数据写入、分析、汇总、查询的综合处理性能。
  •  数据存储成本:风机实时产生的数据积累将会以PB容量存储,传统的磁盘阵列和存储设备已很难提供如此量级的存储容量,且成本高昂难以接受。使用开放式系统的分布式存储方案势在必行。
  •   扩展能力:实时库和关系库配合处理风机数据的并发写入,随着风机数量的不断增长,数据写入的处理能力需所需进行扩展。数据仓库的存储容量也需要随着时间的推移和风机数量的增长线性进行扩容。
  •   技术自主可控:基于开源等可控数据处理解决方案,避免被国外封闭厂商产品锁定。
 
  解决方案:
  架构说明:
  •   设计目标:形成可扩展、高可用、高性能的长治久安的分布式数据处理架构。
  •   设计原则:应用透明,融数据库技术和大数据技术为一身的综合解决方案。
  •   数据库分布式集群: 
   集群内数据存储按水平进行拆分,利用MySQL、Infobright作为存储节点组成share nothing分布式集群架构。该架构利用数据库的处理能力进行分布式计算。其中热数据采用MySQL InnoDB,冷数据采用 MySQL Infobright。热数据指全球监控系统的在线业务提供支撑所需的数据,冷数据指保存20年的历史数据。
   MySQL innodb集群提供对热数据的快速插入、检索、更新操作,主要特点是高并发简单查询;MySQL列式Infobright集群提供对海量数据的统计和分析能力,主要特点是低并发复杂查询。
   冷热数据均基本采用按风机ID水平切分。按时间顺序同步到Spark大数据集群。数据库分布式集群只存储一年的热点数据,历史数据转存储到数据仓库。
  •   Spark集群:
   Spark集群承载数据仓库和复杂业务分析场景。
   采用分布式开放架构的HDFS做为数据存储,数据可用性高,无缝水平扩容。
   采用分布式内存对象处理对数据进行迭代计算,效率高,保证实时性分析要求。
  •   数据库集群和大数据集群对外提供统一访问接口,数据访问中间件接收到业务的数据库请求后,按照数据拆分规则生成执行计划,并将变化后的SQL发到数据库集群或Spark集群进行处理;当数据返回时,数据中间件根据执行计划对结果进行合并、计算、分页、分组、排序等处理,并将处理完的结果返回给客户端。
 
  方案价值:
  业务扩展性:解决了业务可能的爆发式增长带来的数据库水平扩展的问题,可以随着数据量和并发量的增长随时进行在线扩容、随需扩展,适合互联网+创新业务。
  技术自主可控:基于开源数据库的分布式集群技术,以及Spark大数据处理技术,方案核心自主可控,底层软件支撑架构灵活可变,避免封闭厂商锁定。
  降低软件采购成本:开源的MySQL数据库软件和Spark大数据处理技术,使得数据处理软件License采购成本大幅下降。
  接口开放性:业务架构和数据处理架构解耦,可灵活定义用户特定的数据访问接口,适合金融业务创新。
  安全性:增强信息安全,访问层隔离数据源,便于用户特定的访问安全和数据安全控制。

1.软件IC网遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.软件IC网的原创文章,请转载时务必注明文章作者和"来源:软件IC网",不尊重原创的行为软件IC网或将追究责任;3.作者投稿可能会经软件IC网编辑修改或补充。


阅读延展

地址:北京市海淀区紫竹院路66号赛迪大厦十八层 (100048) 京ICP证041415号 | 京ICP备05039896号-3 | 京公安网备11010802015075

免费服务热线:010-88558864 联系电话:010-88558857 010-88558840 传真:010-88558861

Copyright © 2017 - 2021 softic.com.cn All Rights Reserved 软件IC网 版权所有
1
3