《微软大数据平台架构及解决方案介绍》由会员分享，可在线阅读，更多相关《微软大数据平台架构及解决方案介绍（38页珍藏版）》请在金锄头文库上搜索。
1、大数据平台架构及解决方案介绍数据平台工程师优化交通运输为自然事件做好准备提升研究水平物流规划环境的可持续性就业分析社交网络应用流感跟踪经济预测欺诈行为检测大数据可以为政府做些什么？第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：Big Data本地部署方案第四部分：Big Data云端部署方案第五部分：前端数据展现第六部分：案例与总结内容用用户预期期大量数据大量数据多种数据多种数据类型型实时数据数据创建建大数据推动我们到达临界点经济的硬件与存的硬件与存储如何建设 Data Portal模式？整体解决方案系统成本构建“大数据”解决方案前端报表和分析商业化程度和多厂家协调高成本需大量
2、培训学习功能与易用性的平衡“大数据”方案选择有限?大数据平台的建大数据平台的建设困困难业务需求 简化化信息搜索和采集，适应各种数据源，都能促成数据集成人们应当获得强大大熟悉的工具，这样 BI 才能更有吸引力，更能推广IT 应当提供完整的大数据平台，跨越云端与本地部署，支持集成不同的数据类型微软的观点技术让人快速获得洞察力并据此展开操作第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：Big Data本地部署方案第四部分：Big Data云端部署方案第五部分：前端数据展现第六部分：案例与总结内容Big Data解决方案逻辑架构数据管理与处理数据富集与联合查询BI与分析单一查询模型一体
3、机一体机云云盒装盒装软件件Hadoop提取、转换、加载数据质量主数据管理一体机一体机云云盒装盒装软件件关系型数据仓库Data sourcesOLTPERPCRMLOB非关系型数据设备Web传感器社交数据源OLTPERPCRMLOB自助服务协作企业预测移动设备数据管理与处理一体机一体机云云盒装盒装软件件微软的Big Data解决方案架构数据的丰富与联合查询BI与分析单一查询模型提取、转换、加载数据质量主数据管理APS (分析平台系统)SQL Server 2014Microsoft Azure HDInsight一体机一体机云云盒装盒装软件件Data sourcesOLTPERPCRMLOB非关
4、系型数据设备Web传感器社交数据源OLTPERPCRMLOB自助服务协作企业级BI预测移动基础结构数据管理与处理数据富集与联合查询BI与分析微软Big Data解决方案架构自助服务协作企业级BI预测移动提取、转换、加载单一查询模型数据质量主数据管理非关系型关系型分析流内部与外部 虚拟化扩展性安全与身份服务质量全部显示全部关闭MicrosoftAzure盒装软件云一体机自由选择的部署选择或混合解决方案SQL ServerHortonworks 数据平台APS分析平台系统在微软 Azure 虚拟机中运行 SQL Server 实现数据仓库HDInsight for Microsoft AzureS
5、QL Server Fast TrackHDP2.0优化的行列格式（ORC）可将压缩率提升80%微软对 Hadoop 的贡献为微软Azure存储贡献了FileSystem实施Hive（通过Stinger提速40倍）贡献超过25,000行代码HDFS权限模型可映射至Windows利用REEF创建并执行机器学习作业6,000+小时的开发工作Windows，最适合Hadoop的操作系统9第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：Big Data本地部署方案第四部分：Big Data云端部署方案第五部分：前端数据展现第六部分：案例与总结内容关于APS分析平台系统预配置的软硬件一体机
6、海量并行处理（MPP），可扩展至6PB内存列存储可提速100倍Hadoop的专属区域将关系型与Hadoop数据联合在一起的集成式查询模型通过Infiniband网络可实现更快速数据移动与ActiveDirectory集成，获得更高安全性使用SystemCenter进行管理本地环境、一体机SQLServer并行数据仓库MicrosoftHDInsightPolyBase关于适用于 Windows 的 Hortonworks 数据平台充分结合Hortonworks与微软的工作成果100%开源的ApacheHadoop支持最新版Hadoop(2.2)YARNStingerPhase2（查询速度更快）
7、WindowsServer唯一可用的发行版利用现有.NET与Java技能编写MapReduce利用熟悉的BI工具，包括微软Excel进行分析本地环境，自助部署（Hadoop）内存中提速用列格式存储数据，实现大幅压缩通过内存访问数据，获得下一代性能利用各种不同规格的现有硬件可更新，可群集，实现实时涓流加载提速高达 100 倍，10 倍压缩率通过内存列存储技术获得下一代性能C1C3C5C4C2C6列存储呈现为索引并发且混合式的工作负载大规模并行处理（MPP）并行查询处理大规模复杂查询与并发查询通过数据实时获得洞察力同时运行多种类型的工作负载大幅提升查询性能改善混合工作负载的性能查询结果近乎实时的洞
8、察力通过大事件流进行 Sub-zero 处理降低延迟通过历史数据挖掘持续获得洞察力简化管理，灵活部署实时洞察力实时复杂事件处理事件目标事件源集成关系型数据与 Hadoop 通过现有 T SQL 技能查询 Hadoop并行查询关系型与Hadoop数据单一查询混合：在本地与云端部署Hadoop无需将 Hadoop 数据 ETL 到数据仓库查询关系型与非关系型数据nal通过SQLPAS中的PolyBase实现集成式查询分析平台系统Hortonworks (Windows, Linux),ClouderaMicrosoft AzureHDInsightMicrosoft HDInsight结果集Pol
9、yBase选择第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：Big Data本地部署方案第四部分：Big Data云端部署方案第五部分：前端数据展现第六部分：案例与总结内容关于 Microsoft Azure HDInsight云端，HadoopMicrosoft的云端Hadoop服务100%开源的ApacheHadoop支持最新版Hadoop(2.2)YARNStingerPhase2（查询速度更快）无需部署硬件，可在数分钟内开通并运行利用现有.NET与Java技能编写MapReduce利用熟悉的BI工具，包括微软Excel进行分析MicrosoftAzure创建大数据数据节
10、点Data Nodes第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：Big Data本地部署方案第四部分：Big Data云端部署方案第五部分：前端数据展现第六部分：案例与总结内容报表演进报表演进更丰富的展现效果更丰富的展现效果PowerPivotingPowerPivoting海量的数据海量的数据只要几下点击，用户就可以生成和发布出直观和互动的自助式商业智能解决方案。只要几下点击，用户就可以生成和发布出直观和互动的自助式商业智能解决方案。分析演进分析演进使用熟悉的分析工具使用熟悉的分析工具挖掘演进使用向导快速实现决策树决策树聚类聚类时间序列时间序列顺序聚类顺序聚类关联关联Na
11、veNave贝叶斯贝叶斯神经网络神经网络KPI演进-从KPI到仪表板跨系统、上下文驱动的仪表盘提供数据透明度和可查性使用浏览器进行交互高级用户或 IT Pro可以创建或者更新向SharePoint中发布和共享丰富的工作薄可为团队发布PowerPivot以作为Web端应用程序安排数据刷新时间以保证您的数据及分析结果是最新的PowerPivot允许从SharePoint中访问无限制的可靠数据数据门户演进数据门户演进管理和协作管理和协作第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：Big Data本地部署方案第四部分：Big Data云端部署方案第五部分：前端数据展现第六部分：案例与
12、总结内容微软大数据解决方案：为政府管理带来真正的影响力31微软在政府行业优化交通运输演示演示微软大数据解决方案：为政府管理带来真正的影响力32微软在政府行业门店选址微软大数据解决方案：为政府管理带来真正的影响力33微软在政府行业审计微微软是信息搜索和采集的技是信息搜索和采集的技术领先者先者Gartner Magic Quadrant for Enterprise Search, 2013Gartner MarketScope for Enterprise Search, 2011微微软是信息是信息门户的技的技术领先者先者Gartner Magic Quadrant for Business Intelligence Platforms , 2013微微软是商是商业智能和数据分析的技智能和数据分析的技术领先者先者帮助您创建
