《黑龙江移动经分基于hadoop的etl试点项目总结》由会员分享，可在线阅读，更多相关《黑龙江移动经分基于hadoop的etl试点项目总结（63页珍藏版）》请在金锄头文库上搜索。
1、第 1 页 共 63页黑龙江移动业务支撑网经营分析（BASS）系统基于Hadoop的ETL试点项目总结V1.00中国移动通信集团黑龙江有限公司2013年06月第 2 页 共 63页目 录1.试点基本情况.41.1试点情况总述.41.2试点项目组织.51.3试点目标场景.71.3.1ETL.71.3.2数据挖掘.121.4试点系统平台.121.4.1硬件平台.121.4.2软件平台.182.试点技术方案.202.1整体架构.202.2关键转换能力.222.2.1ETL转换能力.222.2.2Colocation方案.272.2.3流程预编译方案.282.3应用开发.282.4调度管理.302.4
2、.1BDI调度控制.302.4.2BDI与现网ETL调度集成 .322.5平台监控.332.5.1ETL监控.332.5.2Hadoop监控.342.5.3集群资源监控.352.5.4自动安装部署.37第 3 页 共 63页2.6数据质量.382.7元数据.393.系统运行情况.413.1.1上线情况.413.1.2应用情况.413.1.3平台情况.513.1.4性能记录.534.其他情况总结.574.1经验教训.574.2成本分析.604.2.1建设成本.604.2.2运维成本.604.3技能储备.614.4选型比较.614.5下阶段规划.624.5.1应用规划.624.5.2BDI产品路标规划.
