电力大数据关键技术应用

范宇

摘要：大数据时代，人们愈加趋向多样性、规模性和高速性的信息获取和信息甄别。大数据已经对人们的生活产生了深刻的影响，大数据技术也在不断地给予人们生活的便利。大数据关键技术的发展对要求与数据有关的企业进行相应技术的更新，通过应用大数据技术为不同领域的发展提供关键信息。电力企业也是如此，同样正朝着信息数字化和智能化的方向发展，在此基础上进一步改进了大数据技术的应用需求。

关键词：电力大数据；关键技术；应用

1 引言
信息时代的到来，人们无论日常生活亦或是生产都不能离开电力系统，但是其运行中会产生极为庞大的数据信息，且信息从速度和类型上都增长较快，这与大数据的特征也有相符合的地方。当前，由于电网系统的不断推进，系统内的数据资源会持续增多，甚至会出现极强的增长态势，这是传统数据处理系统很难完成的事情，所以使用大数据技术有一定的必然性。

2 大数据关键性技术
        2.1 集成管理技术
        健康状态下的智能电网，其通常都会存有大量的数据，尤其是在具体运行中，如果在其中的指定位置安设传感器，就可将所存有的数据传递到电力系统中，而为数据的调取提供便利。数据类型多样，主要有电网运行，大数据分析应用技术，数据信息管理等内容，借助对这些类型数据的整合可以切实为集成管理的高效开展提供保障。
        2.2 数据分析技术
        将分析技术进行合理运用会促进数据整合过程的高效性，从而为电力企业的发展提供真实的依据，也会在数据的整合中建立完善的决策。那么要想保证电力企业得以持续稳定发展，并能够实现理想的经济目标，就应该借助完善的决策对所固有的经济做出科学管理，所以这些决策数据的精准性会为企业的持续稳定发展创造条件。近阶段，对于分析技术的运用，异域发达国家中的德国做出了先行，并取得了高速的发展，其注重于借助太阳能源来将电能传送到电力系统中，以此为其理想经济目标的实现创造条件。
        2.3 数据处理技术
        在对大量数据进行整合前，首先就需要将这些数据进行类型的划分，从而为高效的数据整合创造条件。这相对于以往的数据整合方式来说，以往的整合方式更多时候都需要投入的大量的基础资源，并且在同样的状态下，整合时效也会较为缓慢，因而就应该将类型化的数据逐步传递到指定的系统中，就会为后续数据的调取提供便利，强化数据利用水平。并且也会在科学数据平台的构建中，让数据的加载时效明显提高，从而为数据的随时高效调取提供保障。
        2.4 数据存储备份技术
        在大数据平台中，科学的整合可以让各类型数据得到高效管理。并且由于数据平台所具有的自主修复能力，所以其可以对自身出现的异常问题做出及时处理，从而让各类型数据得以可靠存储和顺畅传输。更重要的是，也会促进智能电网的基础条件不断趋向于完善，运行状态持续保持安全稳定。

3 大数据关键技术应用
        3.1大数据采集
        大数据具有规模大和数据源多样化等特点，为获取高质量数据，可将大数据采集过程分为数据清洗、数据转换和数据集成3个环节。数据清洗是指通过检测除去数据中的明显错误和不一致来达到减少人工干预和用户编程量的目的；数据转换是指按照已经设计好的规则对清洗后的数据进行转换来达到统一异构数据格式的目的；数据集成是指为后继流程提供统一且高质量的数据集合来达到解决“信息孤岛”现象的目的。目前常用的数据采集方法有传感器收取、手机电子渠道、传统搜索引擎如百度和谷歌等，以及条形码技术等。
        3.2大数据存储与管理
        针对大数据的规模性，为了降低存储成本，并行地处理数据，提高数据处理能力，采用分布式数据存储管理技术，主要存储模式为冗余存储模式，即将文件块复制存储在几个不同的存储节点上。比较有名的分布式存储技术是Google的GFS（google File System）和Hadoop的HDFS（Hadoop Distributed File System），其中，HDFS是GFS的开源实现。为了达到方便管理数据的目的，大数据不再采用传统的单表数据存储结构，而是采用由多维表组成的按列存储的分布式实时数据管理系统来组织和管理数据，比较有代表性的是Google的Big Table和Hadoop的HBase，其中，Big Table基于GFS，HBase基于HDFS。
        3.3大数据计算模式与系统
        大数据计算模式指根据大数据的不同数据特征和计算特征，从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象或模型。大数据计算模式多而复杂，比如流式计算、批处理计算、迭代计算和图计算等，其中，由于批处理计算的MapReduce技术具有扩展性和可用性，适合海量且多种类型数据的混合处理，因此，大数据计算通常采用此技术。MapReduce采用“分而治之”的思想，首先将一个大而重的数据任务分解为一系列小而轻且相互独立的子任务，然后将这些子任务分发到平台的各节点并行执行，最后将各节点的执行结果汇总得到最终结果，完成对海量数据的并行计算。

        3.4大数据分析与挖掘
        为了从体量巨大、类型繁多、生成快速的大数据集中寻找出更高的价值，需要大数据分析与挖掘技术帮助理解数据的语义，来提高数据的质量和可信度。由于大数据时代数据的复杂特征，传统的数据分析技术如数据挖掘、机器学习、统计分析已无法满足大数据分析需求，有待进一步研究改进。目前，关键的大数据分析和挖掘技术是云计算技术和可视化技术。云计算技术中的分布式文件系统为大数据底层存储架构提供支撑，基于分布式文件系统构建的分布式数据库通过快捷管理数据的方式来提高数据的访问速度，同时，通过各种并行分析技术在一个开源平台上处理复杂数据，最终通过采用各种可视化技术将数据处理结果直观清晰地呈现出来，帮助用户更简单方便地从复杂的数据中得到新的发现和收获。
        3.5分布式数据处理
        在大数据信息系统中，实现了对各类数据的封装操作，基于此用户可享受随时、随需且标准化的检索与分析服务。例如在分布式数据处理系统中，主要采用流处理技术和批处理技术，其中前者将大数据视作不间断的流，对进入系统的数据流进行实时处理，并及时返回结果，进而提升了数据处理的及时性；而后者的核心则在于划分数据的方式、分配数据的方式和处理数据的技术，该技术先存储需要处理的数据，再根据特定的分割方法，将数据分割为多个数据块，接下来将各个数据块分给不同的处理器进行并行处理，进而降低了数据的关联关系，使得数据具有极高的集群性和可调度性。
        3.6大数据与隐私安全
        大数据潜在的巨大价值，吸引着无数潜在的攻击者，同时在社交网络的快速发展下，人们的隐私安全更是受到威胁，甚至影响到国家安全。鉴于此，各界人士着手大数据安全与隐私保护技术研究并取得了一定成果。现有的大数据安全与隐私保护技术有能对数据所有者进行匿名化的数据发布匿名保护技术、能隐藏用户信息和用户间关系的社交网络匿名保护技术、能确定数据来源的数据溯源技术、能够实现用户授权和简化权限管理的角色挖掘技术和将标识信息嵌入数据载体内部的数据水印技术等。

4 结束语
大数据时代的新技术带给电力企业生产经营新的挑战和机遇，为了适应现阶段信息化工作的要求，企业需要做好相关大数据的分析及挖掘工作，大数据处理技术必将成为电力企业决策者洞察行业竞争态势的望远镜，成为提升企业核心竞争力的助推器。

参考文献：
[1]智能电网中的电力大数据应用[J].刘杰.电子技术与软件工程. 2018（23）
[2]云计算大数据处理技术在智能电网中分析与应用[J].徐高翔，黄勇达，赵卓.科技与企业.2016（06）