《大数据平台及在电力行业应用分析》由会员分享，可在线阅读，更多相关《大数据平台及在电力行业应用分析（36页珍藏版）》请在金锄头文库上搜索。
1、大数据平台及在电力行业的应用分析 2013 07 目录 BigData People Devices Sensors 移动互联网MobileInternet 物联网InternetofThings 3 新量级 新处理模式 新企业智能 互联网Internet 大数据时代 指数型增长的海量数据 所有研究都表明 未来数年数据量会呈现指数增长 根据EMC研究院统计 全球2012创建和复制的数据量达到了2 8ZB 1ZB等于10亿PB 而到2020 这个数据会上升到40ZB 对这些数据的管理和分析 在技术带来了挑战 但是对数据的透彻分析将会为我们带来不可估量的价值 大数据的特性 容量Volume 多样性
2、Variety 价值Value 速度Velocity 半结构化 非结构化数据的超大规模和增长总数据量的80 90 比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍 大数据的异构和多样性很多不同形式 文本 图像 视频 机器数据等 无模式或者模式不明显不连贯的语法或句义 价值密度低 单条数据无价值 无用数据多 综合价值大对未来趋势与模式的可预测分析深度复杂分析 机器学习 统计建模 人工智能 处理速度快 要求系统在短时间内做出响应实时分析而非批量式分析数据输入 处理与丢弃立竿见影而非事后见效 每天几百GB 几TB的资料 且持续成长中 储存Storing 在接收数据的同时做必要的前置处理
3、 并区分数据处理的优先等级 离线计算与实时计算相结合 计算Processing 如何有效的避免因硬件毁坏所导致的资料损毁和数据丢失 管理Managing 如何从中挖掘出数据隐藏的模式和价值 分析Analyzing 大数据处理挑战 与传统数据处理需求的区别 传统数据库模式的数据处理模式 已经无法应对大数据带来的挑战 需要新技术 新思维 新策略 使数据处理性能更高 成本更低 模式更丰富 计算任务的多节点分配 计算计算与存储一体 计算向数据靠拢任务之间无依赖 系统高延展性 分布式并行计算框架 分布式文件存储 大数据核心技术 Hadoop 分布式 多副本 高容错性 数据安全可采用普通PC 硬件成本低系
4、统高扩展性 动态增加存储节点高传输率数据访问 Hadoop技术体系 计算 存储 基于Hadoop实现大数据的分布式存储和分布式并行计算 实现高效的TB和PB级数据处理 大数据核心技术 Storm storm是Twitter开源的一个分布式 实时的计算框架 通过这个框架可以实现消息的秒级处理 并通过分布式处理模式 实现高并发处理的承载 大数据需求与价值 1 3 各行业企业对大数据的关注程度 目前企业的数据系统架构存在问题 2 目前企业数据分析处理面临的问题 目录 大数据对电力行业价值 电力大数据是能源变革中电力工业技术革新的必然过程 而不是简单的技术范畴 电力大数据不仅仅是技术进步 更是涉及整个
5、电力系统在大数据时代下发展理念 管理体制和技术路线等方面的重大变革 是下一代智能化电力系统在大数据时代下价值形态的跃升 大数据推动电力行业的变革 核心主线 重塑电力核心价值 转变电力发展方式 中国电力工业长期秉承 以计划为驱动 以电力生产为中心 的价值观念 重视企业价值和客户价值的实现 却在一定程度上忽视了社会效益 缺乏双向互动 导致电力供需的单方向传递 使得社会资源对电力工业的反馈促进很难实现 电力大数据通过对市场个性化需求和企业自身良性发展的挖掘和满足 重塑中国电力工业核心价值 驱动电力企业从 以人为本 的高度重新审视自己的核心价值 由 以电力生产为中心 向 以客户为中心 转变 并将其最终
6、落脚在 如何更好地服务于全社会 这一根本任务上 重塑电力核心价值 传统电力价值链与新兴电力价值链 人类社会经过工业革命两百多年来的迅猛发展 能源和资源的快速消耗以及全球气候变化已经上升为影响全人类发展的首要问题 传统投资驱动 经验驱动的快速粗放型发展模式 已面临越来越大的社会问题 亟待转型 电力行业也是一样 电力大数据通过对电力系统生产运行方式的优化 对间歇式可再生能源的消纳以及对全社会节能减排观念的引导 能够推动中国电力工业由高耗能 高排放 低效率的粗放发展方式向低耗能 低排放 高效率的绿色发展方式转变 转变电力发展方式 电力数据价值 基于大数据的电力行业优化 对内 优化管控模式 大数据技术
7、有助于电力企业基础设施选址 建设的决策 例如丹麦风电公司VESTAS计划将全球天气系统数据与公司发电机数据结合 利用气温 气压 空气湿度 空气沉淀物 风向 风速等数据以及公司历史数据 通过使用超级计算机及大数据模型解决方案 来支持其风力发电机的选址 以充分利用风速 风力 气流等因素达到最大发电量 并减少能源成本 此外 VESTAS还将添加全球森林砍伐追踪图 卫星图像 地理数据以及月相与潮汐数据 以便更好地支持基础建设的决策 一方面 通过使用电力企业庞大的历史销量数据 进行用户用电行为分析和用户市场细分 使管理者能有针对性地优化营销组织 改善服务模式 另一方面 通过与外界数据的交换 挖掘用户用电
8、与电价 天气 交通等因素所隐藏的关联关系 完善用户用电需求预测模型 进而为各级决策者提供多维 直观 全面 深入的预测数据 主动把握市场动态 整合电力行业生产 运营 销售 管理的数据 实现电力发电 输电 变电 配电 用电 调度全环节数据共享 以用电需求预测为驱动优化资源配置 协调电力生产 运维 销售的管理 提升生产效率和资源利用率 此外 电力企业各部门数据的集成将优化内部信息沟通 使财务 人事等工作的开展更顺畅 有助于企业实行精细化运营管理 提高集团管控水平 利用大数据技术加速电力企业智能化控制的步伐 促进智能电网的发展 例如 通过为电力基础设施布置传感器 动态监控设施运行状况 并基于大数据分析
9、挖掘理念和可视化展现技术手段 采用集成了在线检测 视频监控 应急指挥 检修查询等功能的 智能在线监控与可视化调度管理系统 有效改变运维方式 从萌芽阶段消除部分运维故障 实现运维智能化 基于大数据的电力行业优化 对外 丰富社会效益 利用电力行业数据可给用户提供更加丰富的增值服务内容 例如 通过给用户提供其各月份分时明细用电视图 可让用户了解自身用电习惯并能根据需要进行调整 同时也使得电力收费过程更透明 随着无线M2M传感器和大数据分析的普及 智能恒温控制器等新型工具进入大型楼房和消费者家庭成为可能 未来这些技术将给用户带来很大的节能空间 用电数据是一个地区经济运行的 风向标 可作为投资决策者的参
10、考依据 美国加州大学洛杉矶分校的研究者根据大数据理论 将人口调查信息 电力企业提供的用户实时用电信息和地理 气象等信息全部整合 设计了一款 电力地图 该图以街区为单位 可以反映各时刻的用电量 并可将用电量与人的平均收入 建筑类型等信息进行比照 通过完善 电力地图 能更准确地反应该区经济状况及各群体的行为习惯 以辅助投资者的决策 也可为城市和电网规划提供基础依据 电力行业当前问题暨大数据应用场景 电力行业中数据量的增长也呈现出相似的态势 近几年 电力行业信息化也得到了长足的发展 我国电力企业信息化起源于20世纪60年代 从初始电力生产自动化到80年代以财务电算化为代表的管理信息化建设 再到近年大
11、规模的企业信息化建设 特别伴随着下一代智能化电网的全面建设 以物联网和云计算为代表的新一代IT技术在电力行业中的广泛应用 电力数据资源开始急剧增长并形成了一定的规模 从长远来看 作为中国经济社会发展的 晴雨表 电力数据以其与经济发展紧密而广泛的联系 将会呈现出无以伦比的正外部性 对我国经济社会发展以至人类社会进步也将形成更为强大的推动力 电力行业信息化历程 初始电力生产自动化 电力财务电算化 智能电网 时间 20世纪60年代 时间 20世纪80年代 时间 21世纪10年代 电网数据处理面临的问题及应对 数据量剧增 为了真实地记录生产运行的每一个细节 完整地反映生产运行过程 应用提出了 实时变化
12、采样 的迫切需求 采集频率越来越高 广域动态监测系统 设备状态监测系统在采样频率上可以达到每秒一百甚至一千帧 采集点越来越多 常规的调度自动化系统数十万点配用电 数据中心将达到百万甚至千万级 用户智能电表推行后 对每家每户的实时用电状态数据监控 数据量将剧增 当前数据量级已经每日达到TB级 智能电网的大幅推进后 每日数据量将达到百TB级 传统的数据处理模式 关系型数据库模式 已经无法满足海量和高效处理的需求 只有采用大数据处理模式 才能实现低成本 海量 高性能数据的处理 数据量爆发式增长 电网数据处理面临的问题 数据质量 电网信息化的分散型系统建设 目前虽然完成了系统间的 硬 整合 但在数据层
13、面的 软 整合 还存在很多问题 对于这些电力行业推进大数据的困扰 需要建立统一的元数据定义 统一的数据存储和管控 统一的数据分析处理 这些都需要通过大数据模式来建设 电力行业数据在可获取的颗粒程度 数据获取的及时性 完整性 一致性等方面的表现均不尽如人意 数据源的唯一性 及时性和准确性急需提升 部分数据尚需手动输入 采集效率和准确度还有所欠缺 行业中企业缺乏完整的数据管控策略 组织以及管控流程 电力行业缺乏行业层面的数据模型定义与主数据管理 各单位数据口径不一致 行业中存在较为严重的数据壁垒 业务链条间也尚未实现充分的数据共享 数据重复存储的现象较为突出 电力企业地域覆盖范围极广 各类防护体系
14、建设不平衡 信息安全水平不一致 特别是偏远地区单位防护体系尚未全面建立 安全性有待提高 电力企业大多已建成一体化企业级信息集成平台 能够满足日常业务的处理要求 但其信息网络传输能力 数据存储能力 数据处理能力 数据交换能力 数据展现能力以及数据互动能力都无法满足电力大数据的要求 尚需进一步加强 电力生产过程中大数据应用场景 大数据 下一代智能电网的基石 智能电网发展全景图 智能电网的 智能领域 智能电网的 智能 构成 智能电网的构成包括数据采集 数据传输 信息集成 分析优化和信息展现五个方面 IT角度的智能电网 智能电网核心基础 统一的计算分析平台 智能电网的智能核心是 智能大脑 即智能决策系
15、统 由这个 大脑 来实现全局的 智能资源调度 实现从发电 输配电 售电 用电的全面 智能化 而这个 智能大脑 的每一项决策 都来源于对全局数据的计算分析 因此 其核心基础就是 统一的计算分析平台 开放的 完整的 统一的电网计算分析平台 实现电网的实时仿真计算 为电网规划 建设 运行 管理提供全局性的 统一的 共享的数据和计算分析 交易电价 售电量 用电客户 ERP 一体化平台 协同办公等方面的数据 物联网 云计算 新能源并网 移动互联网 车联网 电力企业生产数据包括发电量 电压稳定性等实时采集的数据 TB级 PB级 PB级 在电力工业与信息化的深度融合 未来的智能电网将承载电力流 信息流 业务
16、流 发电电网信息网的用户产生叠加 电力网的价值要进一步跃升 这种跃升具有大数据的时代特征 需要采用大数据的处理模式来实现平台的构建 目录 彩讯智能电网统一大数据平台 发电厂监控 风电场综合监控 分布式电源监控 输电设备状态监测 变电设备状态监测 智能变电站 配电自动化 用电信息采集 费控 电动汽车充电桩监控 用户电能监控 智能调度 EMS 集控 WAMS 电能计量 水调自动化 雷电监测等 大数据平台可广泛应用于发电 输电 变电 配电 用电 调度等智能电网六大环节 并作为信息通信平台的基础 RichData整体平台架构 RichData的建设目标是通过采用当前业界成熟的数据处理技术和模式 构建与具体业务松耦的中间性的大数据分析挖掘平台 目前利用RichData大数据平台 通过资源的线性扩展 可以实现单条信息秒级的在线处理性能 每日TB级数据分布式处理 PB级数据的存储 RichData 大数据平台数据处理流程结构图 数据从业务系统进行实时 定时采集 进行数据分发 经过离线计算平台 实时计算平台 数据进入分布式存储或其他存储 通过数据服务平台统一对外数据服务 平台管理负责整个平台的监控和管
