《陈非白-高性能数据采集》由会员分享，可在线阅读，更多相关《陈非白-高性能数据采集（17页珍藏版）》请在金锄头文库上搜索。
1、高性能数据技术陈非白陈非白IndexIndexIndexIndex 数据从哪来到哪去 数据采集做什么？ PHP和C+？ 元数据的管理数据从哪来到哪去？数据从哪来到哪去？webpcphonepaddbbakuporaclehadoop?来去数据从哪来到哪去？数据从哪来到哪去？数据采集问题：1、采集什么！？2、数据采集中，有哪些类型数据！？3、流式和批量式。数据从哪来到哪去？数据从哪来到哪去？PV/CLICK/UV/ACTIVE 行业指标数据广告数据注册/登录/使用情况 功能性数据Abtest 指标数据数据模型指标阀值数据分析决策辅 助回馈用 户数据怎么 用，在数据 采集的那一 刻就已经确 定了，
2、包括 模型，分析 方式，指标 阀值数据从哪来到哪去？数据从哪来到哪去？简单定义：流式：http数据接口，分钟或小时级别Scribe 、flume、colloctor批量式：DB或file的数据，天级别ETL、为实现从一个存储加载到另一个存储的脚本数据采集做什么？数据采集做什么？数据准备：数据采集-数据转换/清洗-数据处理/存储问题：1、采集能力？2、清洗时间？3、维护成本？4、存储格式转换？数据采集做什么？数据采集做什么？数据采集做什么？数据采集做什么？数据采集做什么？数据采集做什么？1、完善流程，控制人工修改和前端数据回传。2、采集程序标准化，支持如果后端存储挂掉，数据存储在本地或临时位置3
3、、增加硬件级监控4、增加元数据监控phpphpphpphp和和c+?c+?c+?c+?PhpPhpPhpPhpC+C+C+C+编码难度编码难度简单普通维护难度维护难度普通困难性能性能中高语言类型语言类型脚本编译人力分布人力分布多少人力成本人力成本低高phpphpphpphp和和c+?c+?c+?c+?银弹：facebook php-hiphopPHP代码 C+代码 webServer 程序不支持复杂类，GD库等，适合计算型的程序，需要编译。相关数据：清洗程序为例，清洗速度提升100% ，并发1000+元数据是什么？元数据的管理元数据的管理定义：描述数据的数据。案例：ebay，中国移动，银行地级 数据 仓库地级 数据 仓库地级 数据 仓库州级 数据 仓库州级 数据 仓库中央数据仓库完整？完整？元数据的管理元数据的管理作用：1、描述当前数据平台状态2、简单快速描述数据变化3、报警元数据的管理元数据的管理采集同步存储分析指标分钟采 集量采集量 同比采集 状态天采集 量同步 状态同步 数据 量 同步 时间存储 量存储 状态总存 储量分析 时间分析 失败 数分析 吞吐 量指标 同比指标 环比
