平台简介

HorizonBigData 昊宸大数据平台

  大数据主要被用于分析和决策,企业用以分析的数据越全面,分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力,并将其与已知业务的各个细节相融合,对企业产生新的价值。
  借助新能源大数据平台,可自定义分析挖掘流程,实现灵活的可视化分析建模。基于海量历史数据,通过机器学习技术,不断建立、完善故障预警模型,实时预测设备故障,降低设备故障率,提高风电场运行效益。大数据技术在能源领域的深入应用,将加速推进能源产业发展及商业模式创新,促进能源产业向价值链高端延伸。
  HBD昊宸大数据平台,基于大数据技术为能源企业提供精确需求导向的服务应用。能源大数据集成和共享,促进多领域数据融合,提升能源统计、分析、预测的时效性和准确度;能源大数据信息挖掘与智能预测,对能源设备的运行管理进行精确调度、故障诊断和状态检修。
  昊宸大数据平台提供的技术能力包括:数据采集接入、实时清洗、实时存储、分析建模、实时预警、平台管理能力、数据交互能力、数据可视化能力。

  • 大规模高效数据采集技术与工具
  • 通用的多源异构数据接入整合基础框架
  • 异构数据交互及信息整合的标准体系规范
  • 系统化、智能化、可视化的协同工作大数据技术平台
  • 分布式存储及大数据计算构架
  • 同时支持离线和实时计算
  • 支持高并发、高可用的大数据处理及复杂事件处理
  • 数据挖掘算法
  • 行业标准算法
  • 15000台风机数据
  • 涵盖90%以上机型

平台特点

统一数据处理平台

基于YARN资源管理框架,可在同一份数据集上运行多种并行计算,实时流处理、数据挖掘、机器学习等,满足企业多部门数据和计算资源统一管理的需求。

超高性价比

采用普通商用服务器构建集群,最大程度降低成本。并且可以根据业务需求弹性伸缩,弹性扩展资源。

实时流处理

实时流式数据处理和分析,提供强大的流计算处理能力;支持在流数据上进行包括复杂事件处理和机器学习在内的复杂计算逻辑。

机器学习

提供从数据预处理到模型评估的一站式平台服务,显著降低大数据算法建模的门槛。 提供丰富的分布式算法,提高模型精度,帮助客户从海量数据中挖掘出业务价值。

与传统数据平台区别

平台可扩展性

  大数据分析平台一般采用分布式架构,实现动态扩展,系统随着应用需求与容量的不断增长,支持水平扩展,不需对系统架构进行变更,只做硬件扩容,并部署服务软件,即可满足系统容量扩展要求。系统扩容时,系统平台增加新节点之后,系统自动在所有节点之间均衡数据。系统后台根据忙闲程度,自动发起,占用很少系统资源,无需人工干预,实现数据均衡分布。系统可以通过增加集群节点的方式提高系统性能,性能提升实现线性增长。传统数据仓库只保存处理后的汇总数据。在大数据架构下需要对原始数据进行长期保存。需要扩容大量存储空间。因此,面对海量的数据压力,需要大数据平台提供可供线性扩容的存储能力。

数据形式

  结构化数据是在企业业务应用中使用最多的一部分数据,也是其中比重最小的一部分数据;非结构化数据含金量高但价值密度低,例如系统日志数据、用户的点击行为等,这些数据的量级是结构化数据的几十倍。大数据分析平台的出现,提供了一种开放的、廉价的、基于普通商业硬件的平台,其核心是分布式大规模并行处理,从而为非结构化数据处理创造条件。对于非结构化数据的存储和处理,大数据技术不再局限于传统的二维表结构,可以利用矩阵、向量以及图的形式进行存储和计算,能够提供更加丰富的数据分析手段,包括行为计算、自然语言处理、图像计算、关联关系计算等,更好的帮助企业挖掘数据价值。大数据时代下,通过对大量的数据进行分析,从而揭示数据之间隐藏的关系、模式和趋势;通过结构化数据、半结构化数据、非结构化数据的融合关联分析,实现文本分析、数据挖掘、图形分析等数据分析模式,为决策者提供不同角度不同形式的分析判断依据。

快速处理能力

  传统数据仓库无法有效应对大数据分析需求,传统数据平台大多采用关系型数据库架构。大量的半结构化和非结构化数据无法保存和处理,缺乏非结构化数据的处理能力。由于传统数据仓库的数据处理流程与业务保持紧密关联。整个数据加工流程为最终应用服务。由于数据处理与业务的紧密关联可能需要对中间每个处理环节进行逐个调整。重新生成数据的周期也非常缓慢。因此,面对海量的数据压力,需要大数据平台提供快速的处理能力。大数据平台的架构将数据分层管理,在各层提供数据开放接口,以满足不同数据需求,更有效支撑数据合作运营。同时海量的历史数据能促使合作在第一时间就开展起来。

实时性分析

  传统手段采用抽样分析的手段进行数据统计分析,分析结果主要是面向群体的统计报表,维度是有限制的,而且统计的数据是一定周期内的,结果往往已经是过时的了。而利用大数据,这种状况将不再发生,大数据在全量数据之上进行数据分析,利用机器学习技术和算法建模,实现对数据的实时分析,能够帮助企业完全勾勒出每个个体客户的DNA,新的Key/Value形式的存储结构(HBase等NoSQL数据库)摆脱了对维度的限制,可以更加方便的进行数据挖掘分析。