概述

深圳供电局有限公司已经建成了规模庞大、业务覆盖广泛、实用化程度高的各类计量自动化系统,在抄表结算、负荷监控、用电稽查、电量统计、线损分析、供电质量监测、节能服务等业务方面发挥了重要的作用。

随着计量自动化应用的深入发展,计量自动化系统中积累了大量的电能量数据,并且在不断的快速增加。数据量的不断庞大,让数据价值越来越难以挖掘,反而成为了企业的累赘,这个难题亟待解决。

深圳供电局-电力大数据应用范例

业务挑战

1. 数据的完整性、准确性、规范性不足
由于部分早期的终端通讯规约与现有的电能表不匹配,部分终端的内部程序在运行环境突变的时候产生紊乱现象,导致计量自动化自动采集的数据准确性不足。同时,由于终端的任务配置发生变化(如软件升级不到位),或485线未良好接通,导致计量自动化自动采集的数据完整性不足。

2. 各系统之间的数据没完全共享
计量点采集的终端数据散布在营销系统、配网生产管理系统、物资管理系统等系统中,彼此间数据没能完全共享,电能量数据的价值也一直被隐藏,未能发挥更大的作用。

3. 如何将数据转化成企业经营价值
供电企业掌握的海量数据,蕴含着丰富的信息和巨大的应用前景。对电力用户的日负荷曲线进行聚类分析,有利于合理电价机制的形成,有助于电网公司细化营销策略,制订负荷需求管理措施,提升企业盈利水平。也可以在海量的用电数据中,挖掘潜在的偷电用户,减少企业的经营性风险。

4. 电能量大数据的存储与高效计算难题
计量自动化系统存储了巨大的数据量,主要包括计量点实时的电压、电流、功率、功率因数等数据,一般15分钟一次。由于深圳供电局计量点多,系统覆盖面广,而且采集频率高,因此运行数据体量特别巨大。以专变客户6万个计量点,采集三相电流电压等15个瞬时量为例进行计算,每天就需要采集85兆个数据,以每个数据及其时间戳共占用20字节的存储空间计算,每月增加51GB的存储空间。如此巨大的数据量,即便是进行简单的统计计算都费时费力。

解决方案

要完成上述挑战,需要一套高性能、大吞吐量、灵活的数据管理系统。传统解决方案,不仅维护成本高,而且不易升级。

深圳数研院从实际情况出发,结合深圳供电局的切身需求,基于完全自主研发的极星大数据平台功能,快速开发出“数据挖掘原型系统软件”。

我们通过数据并行数据挖掘计算平台,采用Hadoop的分布式的存储和并行计算构架,实现电能量数据挖掘的并行计算,并与时序数据库深度融合,从而实现结果化数据和非结构化数据处理能力的极速提升。

平台支持异构数据源复用,提供大规模并行处理SQL异构数据查询引擎,兼容SQL2003标准,封装了常用的聚合函数、数学函数、窗口函数。通过一条SQL语句跨库查询现有分布式文件系统、关系数据库、列式数据库、时序数据库等异构数据源的数据。可直接导入现有各类系统的海量数据,实现数据共享。

我们还根据不同应用场景,开发了一系列功能模块,满足了客户的定制化需求:

1、电能量数据完整性、准确性、规范性检测、检查和数据清洗模块:通过电能量数据补充、矫正、规范、去除,提高电能量数据完整性、准确性、规范性。

2、用户行为分析和电网行为分析模块:通过用户行为分析和电网行为分析,能够确定偷电漏电、停电、网络通信故障、用电预测等问题。

3、通用搜索模块:主要实现数据的关联查询、热点发现、时间、地点和值的线索发现和跟踪。

效益评价

深圳供电局通过本次大数据分析平台的搭建,数据挖掘原型系统软件的开发,实现了计量自动化系统海量数据的高效整理,从而提高电能量数据采集和管理水平,提高全网电能量数据采集完整性、准确率,提高发现数据缺陷速度、降低人力成本。大数据分析平台的上线,达到了预期目标,为深圳供电局实现了良好的经济效益。