《【6A文】电力大数据关键技术与应用研究》由会员分享，可在线阅读，更多相关《【6A文】电力大数据关键技术与应用研究（95页珍藏版）》请在金锄头文库上搜索。
1、电力大数据关键技术及应用研究 精简版,南瑞埃森哲,2,大数据关键技术研究 基于大数据的短期符合预测 基于大数据的供电可靠性分析 基于大数据的低电压分析 基于大数据的重过载分析 基于大数据的变电设备故障预测 基于大数据的二次设备风险评估,基于大数据的红外图像分析及故障识别 基于大数据的输电线路在线监测 基于大数据的客户管理全面监测 基于大数据的智能用电应用 基于大数据的客户全面感知分析 基于电网可靠性的配网投资策略研究,大规模数据上多维索引和即时查询 独特的并发控制机制 完善的多数据兼容和应用平滑迁移工具 独特的运行时优化 支持Oracle SQL的自动化映射,平台功能,3,核心技术创新点,提高
2、原有存储过程型应用向云平台的迁移效率，降低实现成本,动态选择SQL在Hadoop环境下的最优并行方案,根据集群资源状态，自适应调配存储粒度，进一步提升应用的并发水平,突破Hadoop只支持K-V查询的技术局限，大幅提升了大数据查询效率,实现大文件读取与随机改写效率的综合调优，有效提高了存储过程复杂 分析语句的运行性能,基于查询重写的SQL到Hadoop映射技术,I/O敏感代价模型驱动的并行方案优选技术,集群资源感知的自适应分区技术,基于混合多维索引的大数据查询技术,基于组合存储的并行读写优化技术,提供Hadoop环境中的DML语言支持能力，提高存储过程中Update、 Insert、Delet
3、e等语句的运行效率,优化多任务并发状态下的计算和IO资源利用率，有效提升分析计算任务 的综合执行效率,为准实时的多数据源之间的数据一致性保障提供技术支撑,根据数据更新规模，动态调整ETL任务并发度，实现资源的集约化利用,基于改进多版本机制的DML增强技术,基于装箱模型的并发计算任务工作流的智能规划技术,基于交叉Hash校验的数据一致性保障技术,负载敏感的数据ETL并发度按需调节技术,开源Hadoop平台无法直接应用于智能电网的复杂业务需求，需要结合业务实际，进行大量实用化研发和优化完善工作。,4,性能验证采用浙江公司用采业务真实数据，主要涉及29张数据表，共189.91亿条记录，选取了三个计算
4、和四个查询任务场景，对比大数据平台和Oracle关系数据库处理性能情况。,三个计算任务涉及表和记录数： 1)公变数据完整率之今日电量计算（2.47亿） 2）低压数据完整率计算（116.1亿） 3)低压用户电量计算（143.7亿）,性能验证,5,1)采集覆盖情况明细 2）采集数据质量检查 3)批量抄表数据查询 4)台区线损分析明细,四个查询任务涉及表和记录数：1.57亿 条,性能验证,6,低压用户电量计算：191 min 12 min（实际运行23分钟）,Oracle 平台,大数据平台 143.7亿,12min,191min,低压用户电量计算,7,采集质量检查明细查询：5.547s 0.281s
5、,Oracle 平台,大数据平台,5.547s,281ms,采集质量检查明细查询,8,计算任务验证对比,9,10,查询任务验证对比,11,大数据关键技术研究 基于大数据的短期符合预测 基于大数据的供电可靠性分析 基于大数据的低电压分析 基于大数据的重过载分析 基于大数据的变电设备故障预测 基于大数据的二次设备风险评估,基于大数据的红外图像分析及故障识别 基于大数据的输电线路在线监测 基于大数据的客户管理全面监测 基于大数据的智能用电应用 基于大数据的客户全面感知分析 基于电网可靠性的配网投资策略研究,背景,12,短期电力负荷预测主要是指预报未来几小时、1天至几天的电力负荷，短期负荷预测不但为电
6、力系统的安全、经济运行提供保障，也是市场环境下编排调度计划、供电计划、交易计划的基础。 短期负荷预测精度已列为电网公司工作的一项重要考核指标。2009年，国家电网公司组织成立工作小组，制订了电网短期负荷预测技术规范，对短期负荷预测各项流程提出了基本技术要求与推荐技术方法。 随着电力生产和消费日益市场化，对负荷预测的准确性、实时性、可靠性和智能性提出了更高的要求，因短期负荷预测作用的大小主要取决于预测精度，因此如何提高预测精度是目前研究短期负荷预测理论和方法的重点。,存在问题,13,数据支撑,14,智能电表用电信息采集的数据结构如下图所示，负荷分为不同层级，层级之间是包涵关系。最底层是用户负荷，
7、统调负荷=用户负荷+系统网损，此种数据架构为实现基于用户负荷的统调负荷预测提供了基础。,即用户，本方案所需的主体数据,即统调负荷，在通过下层累加时需考虑网损， 但由于网损较小且固定，可通过历史网损统计得来,累加,整体技术方案,15,业务层,功能层,批量修正,异常数据辨识,负荷特性分析,负荷聚类,用户分类,专家系统法,用户算法库,自动批量预测,误差统计,误差来源,数据存储,数据查询,负荷挖掘,本技术方案是基于传统短期预测理论与成果基础上提出，其中负荷分析重点开展负荷聚类和用户分类分析；负荷预测中将负荷挖掘和专家系统与预测模型相结合；误差统计中开展误差来源分析。误差分析的结论将输送到负荷分析中以形
8、成闭环的反馈。,已有技术,创新技术,负荷聚类分析,16,用户负荷数据之间存在关联性和相似性，用户的用电数据中隐藏着用户的用电行为习惯，对这些用电数据进行挖掘并研究用户类型，可以帮助电网了解用户的个性化，并为预测模型的选择提供数据支撑。 根据负荷行业属性，将用户划分为：大工业、一般工商业、居民等类型； 根据负荷波动特点，将用户划分为：稳定模式、波动模式、随机变化模式等类型。,示例,预测步骤,17,用户1,用户2,用户N,预测模型库,并行计算,用户1预测结果,统调负荷 预测结果,用户2预测结果,用户N预测结果,累加,网损,总结,18,电力系统负荷预测已经有多年的发展历史，目前短期负荷预测已经成为电
9、力调度部门每日例行工作之一。负荷预测精度的高低对电网的安全、稳定运行及供电质量都有着直接的影响。 在短期负荷预测当中，从用户层面确定统调负荷的变化是彻底改善预测精度的根本方法，也是响应调度精益化管理要求的体现，是实现调度部门全面掌握负荷构成的重要途径。 基于用采数据的短期负荷预测，在负荷预测领域引入大数据技术的创新解决思路，融合了聚类分析、数据挖掘、专家系统法等前沿技术，给出了具体实现方案和流程，将有效的提高短期负荷预测的精度。,19,大数据关键技术研究 基于大数据的短期符合预测 基于大数据的供电可靠性分析 基于大数据的低电压分析 基于大数据的重过载分析 基于大数据的变电设备故障预测 基于大数
10、据的二次设备风险评估,基于大数据的红外图像分析及故障识别 基于大数据的输电线路在线监测 基于大数据的客户管理全面监测 基于大数据的智能用电应用 基于大数据的客户全面感知分析 基于电网可靠性的配网投资策略研究,供电可靠性研究目的及解决思路,20,由供电可靠率的公式可知，用户平均停电时间是供电可靠性的关键变量； 对用户平均停电时间进行层层分解，分析引起停电的各业务流程的主要因素； 基于历史数据计算各因素的影响程度，通过数据挖掘和量化计算的方法，进行深入分析，查找系统中可靠性的薄弱环节，提出有效的改进措施。,供电可靠性研究的目的： 更好的指导未来时间内电网的规划、设计、运行和维修。 找出电网中可靠性
11、薄弱环节，寻求提高系统可靠性的途径，降低停电频率、缩小停电范围、减小停电成本。,主要可靠性指标与计算公式,供电可靠性的全面解决思路,可靠性业务指标间的关联分析,关联分析是指如果两个或多个事物之间存在一定的关联，那么其中一个事物就能通过其他事物进行预测。它的目的是为了挖掘隐藏在数据间的相互关系。 从电网规模、电网结构适宜性、装备水平、电网运行方式、运检绩效、作业方式和需求侧管理等二十个方面选取代表性指标，运用关联分析法求出对供电可靠性影响最显著的数个指标。,21,成果展示,故障平均修复时间,预安排停电时间,故障停电次数,故障定位时间,主干线分段,线路绝缘化水平,馈线平均用户数,电网容载比,平均供
12、电半径,负控限电影响电量,高,低,关联度,输 入,关键业务指标: 电网容载比 线路跳闸率 配网自动化水平 ,其他基础数据: 业务指标波动值 参数设置 ,输 出,分析模型,约束条件,供电可靠率约束,用户平均停电时间约束,用户平均停电次数约束,可靠性评估结果,可靠性预测结果,构建供电可靠性分析模型，对关键业务指标进行分析，形成决策依据,管理策略与建议,22,通过可靠性分析，对管理和技术层面问题的解决提供辅助决策支持,23,管理相关问题,技术相关问题,高,低,高,低,敏感性,严重性,人为破坏,软件控制系统受攻击,自然灾害,长期投资未知风险,技术人员缺乏/老龄化,环保相关管制,可再生能源规定,缺乏可靠
13、性操作强制执行标准,树木生长引起停电,可靠性分析工具缺乏,系统保护检修,天然气或其他能源供应紧张,电源充裕度,缺乏保护性维护,基础设施老化,重载/过载,高,低,高,低,敏感性,严重性,通过对影响供电可靠性指标的相关因素进行分析，可以获得对供电可靠性指标较敏感的相关特征量，这一信息对引导供电企业制定提高可靠性的具体措施有重要的参考价值。,24,大数据关键技术研究 基于大数据的短期符合预测 基于大数据的供电可靠性分析 基于大数据的低电压分析 基于大数据的重过载分析 基于大数据的变电设备故障预测 基于大数据的二次设备风险评估,基于大数据的红外图像分析及故障识别 基于大数据的输电线路在线监测 基于大数
14、据的客户管理全面监测 基于大数据的智能用电应用 基于大数据的客户全面感知分析 基于电网可靠性的配网投资策略研究,造成影响,存在问题,1.数据多样性：类型相对单一，未包括SCADA系统、调度运行管理系统（OMS）、生产管理信息系统（PMS）、电网地理信息系统（GIS）、营销管理信息系统（包括95598）、用电信息采集系统、配电生产抢修平台等多元化数据。 2.数据处理速度：随着数据容量的急速上涨，导致现有的数据分析模式运行起来相对缓慢，无法及时有效得出分析结果,1.不能全面真实反映当地低电压真实分布情况 2.不能准确确定低电压台区发生位置 3.无法进行未来24小时预警,导致,目前低电压分析存在问题
15、及造成影响,方案需求,利用大数据技术进行低电压监测与分析，是基于电网资源对象，利用调度自动化、用电信息采集、客户报修等数据，采用数据挖掘、并行计算、决策树、可视化展现等技术，实现电网资源展现、低电压台区分布与特征分析、制定治理措施和改进建议等功能，服务于中低压电网运行抢修和配电网规划。具体对于大数据技术的需求如下：,实现目标,解决低电压问题，是提高供电服务的具体体现，也是企业节能降损的内在要求，是关系到供电企业经营的大事。由于造成低电压的原因错综复杂，需要根据不同情况，采取具体问题具体分析的方法，同时需要兼顾成本效益原则，进而从改造和规划的角度打造新型坚强配电网。利用大数据技术进行低电压监测与
16、分析，可以实现以下目标：,功能框架,低电压原因分析,基本情况分析,治理措施建议,低电压范围,低电压特征,低电压影响因素分析,台区低电压原因诊断,地区治理措施建议,台区治理措施建议,低电压监测与分析,技术线路,结合大数据特性，从数据存储、数据管理、数据计算、数据整合与治理、数据分析与挖掘、数据展示等方面进行架构设计。对用电采集、电网网架数据、调度等系统的数据进行统一采集，基于HADOOP架构对采集的数据进行存储及计算。通过数据管理、数据整合与治理对存储的数据质量提供强有力的保障。对采集存储后的海量数据根据数据挖掘技术进行建模，得出分析结果并对分析结果进行可视化的全面展现。,30,大数据关键技术研究 基于大数据的短期符合预测 基于大数据的供电可靠性分析 基于大数据的低电压分析 基于大数据的重过载分析 基于大数据的变电设备故障预测 基于大数据的二次设备风险评估,基于大数据的红外图像分析及故障识别 基于
