《RapidMiner在电力交易数据分析中的应用》由会员分享，可在线阅读，更多相关《RapidMiner在电力交易数据分析中的应用（12页珍藏版）》请在金锄头文库上搜索。
1、Rapid Miner在电力交易数据分析中的应用随着电力市场化改革不断推进，交易规模持续扩大，市场主体数 量迅速增长，电力交易组织已由规范有序向精益管理过渡。通过应用 大数据分析方法，深入研究市场主体行为，预测交易发展趋势，对于 提升交易组织精益管理水平，确保电力市场健康快速发展，具有重要 意义。一、山西电力市场数据分析及存在的问题从 2013 年开始，山西电力交易中心已连续 6 年组织电力直接交易 成交电量2600 亿千瓦时，积累了大量的历史数据。此外，现货交易 机制快速推进，国家发改委，能源局相继发文推动现货交易快随开展。 南网区域内广东，国网区域内山西、甘肃等省份先后启动了现货试运 行。
2、现货交易频次高，不同时点价格、电量均不相同，部分省份引入 节点边际电价，数据量更加庞大。亟需从这些数据中洞察交易特点， 提取价值，为后期制定交易规则，开展交易组织，合规管理等活动提 供依据。二、国内外研究现状文献1探讨了大数据采集存储、分析处理以及数据展现等方面的 关键技术.提出以云计算+大中台的技术路径实现电力市场业务的整 合架构体系,阐述了电力市场大数据应用的若干业务场景，提出了现 货模式下中长期交易的交易结果执行方式。文献2阐述了基于大数 据技术的电力交易平台功能和技术架构。文献3提出了一种多元能 源大数据的电力市场交易模型,采用效用函数建立交易双方的多属性 协商模型,并采用遗传算法进行
3、模型求解。以上文献从电力交易大数 据平台分析技术、算法进行了介绍。三、大数据方法在电力交易数据分析中的应用电力数据挖掘的基本任务包括利用分类与预测、聚类分析、关联 规则、时序模式、偏差检测、智能推荐等方法，帮助交易管理员提取 数据中蕴含的价值，提高交易、市场管理水平。1. 数据挖掘过程针对电力市场交易数据挖掘应用需求，可定义如下挖掘目标：一 是提升交易中心组织交易的效率与效益。通过分析交易过程数据，缩 减交易过程中相关环节时间，提升交易组织整体效率和效益；二是通 过分析各类市场主体在交易过程中各类申报数据，及时发现市场主体 的异常申报情况，为市场主体合规管理提供各类基础数据支撑；三是 通过对交
4、易过程数据进行大数据分析，发现市场主体在交易过程中的 行为特点，为市场分析提供基础资料。2. 数据取样在明确了需要进行数据挖掘的目标后，接下来就需要从业务系统 中抽取出一个与挖掘目标相关的样本数据子集。抽取数据的标准一是 相关性，二是可靠性，三是有效性，而不是用全部数据。通过数据样 本的精选，不仅能减少数据处理量，节省系统资源，而且使我们想要 寻找的规律性更加突显出来。基于电力交易大数据分析挖掘目标，需从电力交易运营系统抽取 用于建模和分析的电力交易相关数据，主要包括：a.售电公司信息： 售电公司名称、注册资本、代理用户数量、代理电量、股本构成，所 属地区，主要联系人等；b.电力用户信息：电力
5、用户名称、用电类型、 电压等级、所属地区、入市时间、用电单元、计量点等；c.发电企业 信息：发电企业名称、所属发电集团、股份构成、所属地理区域、装 机容量、机组类型、接入电压等级等；d.交易过程数据：信息发布、 交易申报时间、出清、安全校核等流程；e.交易动态数据：市场主体 申报电量和电价、成交电量和电价，成交对方名称等信息；f.交易类 型数据：交易属于何种类型，纵向来分，包括年度、多月、月度、月 内，横向来分，包括双边协商，集中竞价，挂牌认购等，也可以从标 的物来分，直接交易、省间交易、转让交易、抽水蓄能电站容量电费 认购交易；g.外部数据，如宏观经济增长、国内生产总值GDP、固定 资产投资
6、等。3. 数据探索对电力交易数据进行取样，主观上包括交易管理员对如何实现数 据挖掘目的的先验认识。当对电力交易相关数据进行取样后，它是否 达到我们原来设想的要求；其中有没有什么明显的规律和趋势；有没 有出现从未设想过的数据状态；属性之间有什么相关性；它们可区分 成怎样一些类别，这都是要首先探索的内容。以电力直接交易数据为例，数据探索主要包括：异常值分析、相 关分析等内容。异常值分析是检验数据是否明显错误以及含有不合常 理的数据。重视异常值的出现，分析其产生的原因，常常成为发现问 题进而改进决策的契机。简单统计量分析，可以先对变量做一个描述 性统计，进而查看哪些数据是不合理的。最常用的统计量是最
7、大值和 最小值，用来判断这个变量的取值是否超出了合理的范围。3.1 电力交易大数据降维随着电力市场的不断发展，电力交易数据呈现迅猛增长。2019年1-6 月底，山西电力交易平台注册市场主体数量达到2500 家，达成交 易笔数达到2200 笔。各类交易数据申报、撮合、计算出清等过程数 据在10万条以上，数据符合大数据的“4V”特性。根据数据分析的目的，提取交易相关要素，对电力交易数据进行 初步简化。下面以直接交易数据简化过程为例，说明维数简化过程。 在电力直接交易数据中，以横向表示每一个市场主体交易相关参数， 纵向表示该市场主体交易过程中相关属性，根据大数据分析目的，侧 重对交易动态过程数据，通
8、过维数约减关注交易过程数据，提高对交 易过程数据关注程度。示例：表 1：电力直接交易数据表号鵰批次交方名称购力用户电电 力用 户行 业压等级电电 力用户 所在区 域1电 公 司售 售电公司 所在区 域售 电公司 性质发电方 名称1XXXXXXXXXX 在以上示例中，纵向表示相关市场主体属性，横向表示市场主体。 在实际情况汇总，相关属性可以达到50 余列。根据数据分析目的， 运用大数据分析方法，对交易组织效率有影响的列进行分析，采用低 维度和特征维度进行降维，可以得出降维后的数据分析表，列数为10 列。表 2：维数约减后的电力直接交易数据表/号交易批 次购方名 称电力用户1报 电 量申E报价格方
9、 名 称售口售电申报电量售电申 报电 价成交电量交价格LXXX:XX(XXX 1 在以上分析过程中，根据交易数据分析目的，即对交易过程中的动态数据进行侧重分析，对维数进行约减。同理对合同转让交易，省间外送交易等数据，按照数据分析目标 进行降维。通过大数据处理技术的数维约减方法，实现数据降维，为 后续数据目标分析奠定基础。3.2 挖掘建模针对电力交易数据挖掘应用，挖掘建模主要包括基于关联规则算 法的交易管理分析，交易异常行为分析和交易行为分析。在电力直接交易数据挖掘过程中，米用RapidMiner进行数据挖掘。RapidMiner 也称为 YALE (Ye t Anot her Learning
10、 Environme nt),提供图形化界面，采用类似Windows资源管理器中的树状结构来组织 分析组件，树上每个节点表示不同的运算符(opera tor)。3.3数据特征分析对数据进行质量分析以后，接下来可通过绘制图表、计算某些特征量等手段进行数据的特征分析。下面以某年度双边协商交易为例，对交易电价进行数据分析。将电量与电价数据导入RapidMiner，可直观展示成交价格分布图。通过Rapidminer直观展示功能，可显示成交价格数量主要集中在 330-335。从交易价格对应的成交电量看，300-338成交电量较多。通 过Rapidminer可以直观展示各类交易数据基础信息。3.4交易相关
11、关系挖掘盂囂雷需益盘芻玄詈帯常二 1 FHtlt 二在交易组织过程中，交易数据中的许多参数直接相关，且受到交 易类型的限制。例如在集中竞价交易过程中，电力交易申报中的价格 申报时间等，直接决定交易结果。部分数据属于间接相关。如交易组 织时间，市场主体对交易规则熟练程度，对交易电量与价格的影响， 宏观经济形势对交易组织的影响等。通过对电力交易数据分析，对各类市场化交易中，交易相关关系 挖掘如下。（1）直接相关与交易结果直接相关的关系有：结果交易申报数据；直接交易中， 电力用户被代理售电公司与发电企业所属集团；售电公司与电力用户 签订的委托价格，以及委托协议中的其他条款。（2）间接相关此类关系主要
12、有：市场主体集团性质，例如是国企还是民企，电力用户所属行业。从宏观方面来看，GDP总量与增速，行业性质等相 关。3.5 交互作用挖掘在电力交易数据相关关系挖掘的基础上，采用大数据管理中的交 互作用数据挖掘方法，实现对交易数据交互作用的挖掘。从交互作用强度来看，相关强度较高的关系有申报数据与交易结 果。在省间交易中，挂牌交易价格与是否成交直接相关。相互关系属 于中等的有售电公司与发电企业所属集团，成交价格与电煤价格，各类市场主体弱相关的有：电力用户所属行业经济形势，经济增长情况与GDP,省间交易中购电省市经济状况。首先从资源存储库中选择并拖入数据“.关联分析”到设计视图然后使用Correlati
13、on Matrix操作符，建立相关链接，如图4-3。此数据集中有六个属性,所以我们的矩阵有六个列,六个行。在属 性与自身相交的位置,关联系数为“1”,这是因为任何事物在与自 身进行比较时都具有完全匹配的关系。所有其他属性对的关联系数 都小于 1。更复杂一些的话,关联系数实际上还可以为负值,因此所有关联 系数都将介于 -1 到 1之间。刚仏1丈昇It績购劇出电力靑产？请-02401O.OI3QDOWMB-0i1占册-0-4507414*0.255013010 9860103装虹苕射-30702胡04丁-0045-00220570 9944X420-O20SML2O015C-43 03702911
14、50-Q267-02622330-122护卿0 16301611电力用户0J11-0.120 9300 061-0 20S4 E七鼻 JML斓hefc JMMk* * 图3 采用RapidMiner交易要素关联度分析表图3展示了通过RapidMiner数据挖掘工具对某此交易结果相关因 素关联程度。表中颜色深浅代表各交易要素之间关联程度，颜色越深 关联程度越高。关联值为1时是两个因素相同的情况。因交易数据公 开要求，图4-4仅展示了部分要素的关联程度。AtthtNJteaRWqftl申0-WFD.S06FQ.023。.细瓏烹电怕0JJ270.123O.OM0.074D.&4B电奏D 0450 D93DDK0 022交醐It虫0 1410 344O.Z560.376 11SH.S731.T93oaoi0.7WI0.204电力.用户770 7707560/995申力用尸冇亚0 5310 4&70
