电力大数据高速存储及检索关键技术探讨

高正浩1黄良1曹洪1赵立进1张渊渊2

（1.贵州电网有限责任公司电力科学研究院；2.深圳市康拓普信息技术有限公司）

摘要：在电力企业不断发展和科学技术水平不断提高的推动下，信息技术在电力企业中得到了广泛的应用，并取得了一定的效果。本文针对电力大数据高速存储及检索关键技术进行了探讨，旨在为电力大数据的存储和检索提供帮助。

关键字：关键技术；存储和检索；大数据；电力企业

现如今，伴随着电力企业的飞速发展，其需要其需要处理和管理的数据越来越多，如何对这些数据信息进行高速的存储和检已经成为了现代电力企业发展和生存的关键，下面本文展开进一步的研究。

1.大数据的概念和特性

1.1大数据的概念

大数据的概念是由阿尔温托夫勒率先提出来的，指的是含信息量较多的资料，其信息量多到无法在规定的时间内采用当前的主流软工具完成处理、管理的工作。现阶段，伴随着电力企业的大力发展，其需要处理和管理的数据越来越多，如何对这些数据信息进行高速的存储和检已经成为了现代电力企业发展和生存的关键。

1.2大数据的特性

大数据既不是一类产品也不是一种新技术，他只不是时代发展下的一种新现象。大数据主要包含四个方面的特性：（1）体量巨大，由过去的TB等级上升到PB等级；（2）处理速度快。包含海量实时和在线数据分析要求；（3）价值密度较低。长时间的视频监控信息中有可能只有1s-2s信息的是有用的；（4）数据类型复杂，来源多样化。大数据的形式和类别包括半结构形式和非结构形式的数据。

2.大数据高速存储及检索的的技术结构研究

我国电力企业要想在竞争日益激烈市场中占有一席地，就应该从电网信息技术的角度入手。现如今，我国用电信息采集系统所面向的用户数量比较多，每天形成了海量的数据信息，致使业务系统在对业务进行统计分析时的反应速度比较慢，用户在使用过程中往往需要等待较长的时间、因此，为了有效的解决这一问题，下面本文就大数据高速存储及检索的关键技术进行进一步的研究。

2.1并行采样技术

利用单片数据转换器的芯片能够有效的提高采样频率的提高，这种芯片的缺点是分辨率角度，价格较高，对数据收集有着较高的要求。基于此，本文提出了并行采样的方法，其工作原理是：利用交叉时间采样的方法，使多片低采样率的芯片并行，从而获得高频数据采集的效果。

并行采样技术所应用的ADC转换器主要包含逐次逼近形式的和闪电形式的两类。其中，第一类ADC转换器的工作原理是利用比较器对比转换标准电压和模拟信号；第二类ADC转换器的工作原理是对参考电压和模拟信号进行直接对比，从而获取有关数字信号的大小，这种方法的优点是速度快、效率高；缺点是分辨率较低。

2.2电力大数据高速存储方案与技术

2.2.1存储方案

电力企业中，数据信息的采集和存储能力直接关系着业务质量，数据信息采集速率的提升很够有效的为信息采集精确度的提高提供保障，但是数据信息的处理速度越快，对系统硬件的要求就越高，就会是系统的成本投入增加，因此，并不需要过快的数据信息处理速度，而是将数据信息存储于一盒数据缓存单元中，然后，根据系统的要求对数据信息进行处理和运用。通常，高速缓存方法主要包含以下三类：

（1）高速SRAM切换形式的缓存。

该缓存方法只有一套控制总线、数据和地址，并通过三态缓冲门将ARAM设备连接在ADC转换器和控制器之上。当在ADC转换器上采集完数据信息之后，利用ARAM设备在控制器上展开读写操作。这类缓存方法的优势为可以随时读写数据信息，劣势在于集成化程度比较低，占用的面积比较大。

（2）双口PAM形式的缓存。这类缓存方法设有两套相对独立地控制总线、数据和地址，因此，实现了两个端口能够互不干扰的同时对数据信息进行读写。这类缓存方法的优势为实现了随时对数据信息进行存取，传递效率比较高，劣势在于其价格非常昂贵。

（3）先进先出形式的缓存

FIF存储器是这类缓存方法主要的应用设备，这类缓存方法没有地址线，设有两套数据线，能够在两端分别进行操作和读取，而数据信息则在其中进行顺序运用。这类缓存方法的优势在于传递效率比较高，节省了地址线的布置，其缺点为读写方式不灵活，并且速率较高、容量较大的FIFO存储器的价格比较高。

2.2.2存储器设备的类别划分

按照存储器的特性可以将其划分为随机存储器和只读存储器两种，按照存储机构又可以将只读存储器分为DRAM和SRAM两类。其中SRAM存储器的优点是操作灵活、效率高、稳定性强，其缺点为价格昂贵；因此，在某些特殊的场所之外，在其他地方SRAM这类存储器很少会得到应用。与SRAM存储器相比较而言，DRAM存储器的价格比较低，并且伴随着科学技术的不断进步，DRAM存储器的稳定性逐渐增强、存储速率越来越高、存储容量也在不断的增大，在未来如果应应用合理的话，能够实现信心存储效率的有效提高。

2.3电力大数据高速检索技术

在用户提出检索的要求之后，并将关键词提交给检索代理，那么检索代理就会将用户提交的关键词发送至索引的存储器之内，然后根据与检索词的相关度将检索结果排列出来，并传递到用户的界面上，从而使检索的质量和效率得到有效的提高。

2.3.1分析提交的检索内容

通常情况下，搜索引擎会对检索内容进行分词，主要通过以下三种形式：

（1）以字符串为基础进行匹配。这种方法包括最少切分、逆向最大匹配、正向最大匹配三种形式，最少切分形式指的是细化关键词组，然后进行一一检索；逆向最大匹配形式指的是从右至左将用户所提交的检索内容划分为部分词语；正向检索形式指的是由左至右将用户提高的检索内容划分为词语。

（2）对词语理解后进行匹配，其原理是在进行分词时将对语法中存在歧义的语句并进行处理。通常由总控制体系，词义、语法及分词体系三部分组成，这三部分相互配合实现对人类思维的模拟。

（3）对分词统计后进行匹配。当出现较高频率的邻近字时，在检索的过程中，分词时就将其当作为同一个词。在检索时，如同“吗”、“的”等词语在分词的时候会被去除，是值得注意的。

2.3.2对搜索请求进行匹配

对于匹配内容显示的排序主要依照的是匹配程度，也就是将与用户检索内容匹配程度较高匹配内容排列在前面。采用这种方法能够有效的缩短检索词的时间，提高用户的工作效率，具有较强的实用价值。

结语：

总而言之，电力企业大数据的存储和检索的效率最接关系着企业自身的发展也生存，对于电力企业而言，要不断的对自身吃得管理方法进行改进和创新，为大数据存储和检索速率的提高提供保障。对于有关工作人员而言，应该身体力行，加强对该问题的研究，从而提高自身的服务质量。

参考文献：

[1]乔向杰.基于大数据的旅游公共管理与服务创新模式研究[A].北京两届联席会议高峰论坛文集[C]，2013.

[2]邓丽芬，黄名磊.电力信息大数据高速存储及检索关键技术研究[J].电子技术与软件工程，2014，08（27）：220.

[3]杨德胜，陈江江，张明.电力大数据高速存储及检索关键技术研究与应用[J].测试工具与解决方案，2014（3）：61-63.

[4]孟小峰，慈祥．大数据管理：概念、技术与挑战[J]．计算机研究与发展，2013,50（1）：146-149．

作者简介：高正浩1，男，1979年8月，贵州贵阳，本科，高工。研究方向：电力信息技术。公司名称：贵州电网有限责任公司电力科学研究院，ElectricPowerResearchInstituteofGuizhouPowerGridCo.,Ltd.邮编：550002，