电力大数据采集与监视技术应用研究

　　摘要：文章对电力行业的大数据采集与监视的必要性进行分析，探究电力大数据采集现状及存在的问题，并对电力大数据数据采集与监视的关键技术进行分析以期促进电力企业在海量信息中挖掘有价值的信息，助力电力企业良性发展，为用户提供更加优质的供电服务。

　　伴随着电力行业中新能源、微电网、互动式设备的大量接入和智能电网系统的飞速发展，以及现货交易等新业务的持续涌现，电力系统的管理需求日益复杂，电力企业对电力大数据的数据采集能力、业务覆盖范围和智能化水平提出了更高的要求。从电力系统发电端的光伏设备、风力发电等新能源站点，到输电、配电环节的高压、特高压交直流电力网络，电力系统涉及的电力设备、传输环节和产生的数据越来越多元且复杂，同时，还呈现出爆炸式增长的趋势，对电力系统运行数据的采集与监视对于电力系统的安全运行和运维管理有着至关重要的作用。电力数据采集与监视的需求促进了电力系统大数据采集与监视技术的不断更新和发展。

　　1　电力大数据采集与监视的必要性

　　1.1　企业管理和发展的必要性

　　在能源革命和数字革命的大潮下，电力企业掌握电力数据，就是掌握了企业发展的根本法宝，通过沉淀数据资源和业务构建成果，将电力数据资源蕴藏的巨大能量释放出来，为采集抄表、线损、费控、智能诊断、运行管理、配变监测、停电分析等业务的标准化和数字化建设提供支撑，助力电力企业紧抓能源互联网发展新机遇，实现数字化转型升级。

　　1.2　电力运维的必要性

　　电力企业在数据监控方面具有可视化的现实需求，通过编程将采集设备采集到的数据进行有组织、有规则、有筛选的集中处理，然后将经过处理的数据以图形可视化的效果展示出来。运维人员可以直观地看到经过处理的数据，大大降低了运维人员的工作负担，可以使运维人员将更多的时间和精力用在对数据结果的分析判断等本质问题上，电力系统的工作效率和运维质量将获得很大提升。

　　1.3　安全运行的必要性

　　电力系统具有全天候运转、全覆盖的特点，一旦电力系统出现问题或者故障立刻会在监控系统的数据上反映出来，运维监管的技术人员可以针对出现的问题或者故障快速地做出反应，为电力系统的稳定运行提供必要的保障。

　　2　电力大数据采集与监视现状及存在的问题

　　深入分析电力大数据采集方面的现状，发现目前电力大数据采集与监视情况仍存在以下3 方面问题。

　　2.1　缺少统一的数据采集管理手段

　　目前运用较多的电力运维管理系统，其信息化、智能化和自动化改造和建设的周期比较长。同时，电力运维管理系统涉及通讯技术、计算机技术、网络信息技术、自动化技术、气象预告等各个专业领域，优良的电力运维管理系统必须要整合这些领域的技术和管理体系，从而实现多领域整合的统一数据采集平台。但目前来看，因为跨多个专业、多个部门，数据采集平台的建设难度大，造成电力系统缺乏统一的数据采集管理手段。

　　2.2　缺少高效的监视方法

　　针对电力系统而言，不但每毫秒、每秒都会产生海量的电力数据，而且这些数据都在实时动态地更新。对电力系统进行有效的运维，就需要对这些海量的数据进行高效的采集和监视。对数据采集的可靠性和准确性的要求越高，就要求数据采集更加高效和可靠，但目前还欠缺高效的监视方法。

　　2.3　无法满足运维需求

　　目前电力大数据采集监视平台的监视功能侧重于电力系统内部的资源调度、电力数据存储和统计分析等方面，对外部数据的兼容和接入等方面的监视功能较为忽视，无法满足电力系统迅速发展环境下电力运维的需求。因此，要结合电力系统大数据和多元化数据的特点，切实解决运维中出现的困境和需求。

　　3　电力大数据采集的场景分析

　　3.1　多专业数据混合采集监视

　　电力系统涉及的专业方向较多，如设备运维、通讯、IT、计量、安监、市场交易等；每个专业都有多种数据源，且交互方式繁杂，如Web Service、电力专用规约、特殊文件格式等；数据种类繁多，如实时数据、历史数据、文本数据、多媒体数据、时间序列数据等各类结构化、半结构化数据以及非结构化数据。因此，开展电力大数据分析的前提是多源异构数据混合采集。

　　3.2　跨区跨级数据采集监视

　　一方面，电力系统大数据存在于电力运输过程中的各个环节和物理地点，从电力电能产生的发电厂，到输送环节的输电网、配电网和终端的用户等多个环节，每个环节都会有电力数据的产生和采集需求。另一方面，电力企业采用分层级、扁平化的管理方式，分为不同层级的电网调度管理机构，并且每一层级都有相应的数据分析需求，因此电力大数据的采集和监视应采用分层级分布式的思路和模式。

　　3.3　对电力大数据采集与监视的要求

　　从电力大数据的特点来看，数据采集与监视需要满足以下两点要求。

　　3.3.1　采用分布式架构，根据业务需求横向扩展

　　由于采集的数据量较大，数据分布较广泛，在采集监视系统时需要采用分布式的架构进行采集。通过贴近采集程序或者贴近装置的部署方式对数据进行采集，采集的数据处理后，传回后端处理系统，避免过多占用网络，提高整体工作效率。同时，还可以根据后期需要增加接入量，支持前端收集、传输汇集、后端处理的横向可扩展功能，以有效避免某个环节性能瓶颈对整个系统造成影响。

　　3.3.2　运用插件化思路，预留各类系统接口需求

　　电力运维管理系统在数据接口方面不仅要采集外部数据，同时，也要将采集和分析处理过的数据传向外部系统。在建立电力运维管理系统时，要预留各类系统的接入接口需求，要运用插件化的思路来实现外部接口的灵活定制和开发。同时，电力系统数据采集要实现外部数据和系统内部的兼容和格式的转换，实现内部系统和外部系统数据的交互与传输。

　　4　电力大数据采集与监视的关键技术

　　4.1　Hadoop 技术

　　电力大数据采集的技术架构通常采用Hadoop 技术，在此基础上引入分布式框架。Hadoop 是一个能够对大量数据进行分布式处理的软件框架，其优势是可以提供可靠、高效、可伸缩的方式进行数据处理，以并行的方式工作，通过并行处理加快处理速度。Hadoop 能够在节点之间动态地移动数据，并保证各个节点的动态平衡，处理速度快。Hadoop 大数据生态集群技术，支撑单机百万级设备同时在线、分钟级高频采集和全量原始报文解析，并保时、保值、保量地完成数据入库及推送发布。可有效提升采集抄表的效率和精准度，同时支撑电能数据、交流模拟量、工况数据、电能质量数据、事件记录数据等用电信息处理，日均采集数据多达亿条。

　　4.2　数据仓库技术

　　数据仓库技术采用HIVE 分布式的数据库，其存储层划分为四层，即数据仓库层、数据明细层、数据中间层和数据服务层。这种数据库的优势是可以实现多元化、异构数据的整合，同时可以改变异构数据的存储格式。在电力系统中引入分布式的数据仓库具有独特的优势。因为分布式数据仓库的技术特点是可以利用大数据技术和分布式技术解决电力系统中海量数据的储存问题，尤其是对于异构数据和非结构化数据来讲，如电力系统中常见的众多日志数据、文本数据、图片数据、音频数据、视频数据等。这些数据需要比较大的存储空间，分布式数据仓库技术恰好可以整合这种多元化的异构数据，进行统一的存储处理并通过Hadoop 分布式技术实现并行计算，提升电力系统中海量数据的处理分析和存储效率。

　　4.3　数据采集技术

　　数据采集技术适用于电力系统中的多个业务场景，业内主流采集工具是Kettle，其工作流程分为抽取数据、清洗转换数据和数据加载处理，该种技术下数据采集效率得到了提高，也便于维护管理。

　　4.4　分布式计算技术

　　随着业务量的增加，电力企业数据量也从GB 级别增加到PB 级别，只有引入Hadoop 分布式计算才能满足数据处理需求，提高日常运营能力。分布式计算是一种特殊的并行计算方式，将相关的计算资源、数据等分布在不同的机器上，各个计算单元之间通过网络传输。常见的有分布式Redis、分布式MySQL、分布式Hadoop 等。

　　5　结语

　　电力企业通过大数据采集与监视，实现对电网生产运营的多维度监测与分析，以及对生产管理过程的常态化监控与预警，为电力公司在电网安全稳定运行方面的一体化战略落地提供强有力的支撑。本文通过分析电力行业开展大数据采集与监视的必要性，针对当前电力行业在大数据采集方面的现状及问题，有针对性地分析电力大数据采集的应用场景和关键技术，以期为电力行业快速、及时、准确地提供系统运行状态数据提供参考。

　　（作者单位：国网安徽省电力有限公司经济技术研究院）