《1132编号美团大数据平台架构实践》由会员分享，可在线阅读，更多相关《1132编号美团大数据平台架构实践（49页珍藏版）》请在金锄头文库上搜索。
1、? ? ? ? 11? ?, ? 12? ? 13? ? 14? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? BI? ? ? ? ? ? ? ?- ? ? ? ? ? ? ? ? ? ? BI? ? ? ? ? ? ? ?Binlog? ? 850+ ? ?+ ? ? ? ? ? ? 1100+ ? ? ? ? ? ? ?, ? ? ? 42P+ ? 150K /? 2500+ ?, 3? 16K ? ? ETL? ? ? ? ? ?SLA? ? ? ? ? ? ? BI? BI? - ? ? BI? - ? ? 201120
2、122013201420152016 “?” PHP ? SQL ETL ? ? ? ? SQL ? ? ? ? ? ?Hadoop ETL ? ? ? ? ? Binlog ? Hadoop2.0 YARN ? Spark ? ? ? Hadoop ? ? ? & SLA ? OLAP ? ? ? ? 201120122013201420152016 “?” PHP ? SQL ETL ? ? ? ? SQL ? ? ? ? ? ?Hadoop ETL ? ? ? ? ? Binlog ? Hadoop2.0 YARN ? Spark ? ? ? Hadoop ? ? ? & SLA ? O
3、LAP ? ? ? ? 201120122013201420152016 “?” PHP ? SQL ETL ? ? ? ? SQL ? ? ? ? ? ?Hadoop ETL ? ? ? ? ? Binlog ? Hadoop2.0 YARN ? Spark ? ? ? Hadoop ? ? ? & SLA ? OLAP ? ? ? ? 201120122013201420152016 “?” PHP ? SQL ETL ? ? ? ? SQL ? ? ? ? ? ?Hadoop ETL ? ? ? ? ? Binlog ? Hadoop2.0 YARN ? Spark ? ? ? Hado
4、op ? ? ? & SLA ? OLAP ? ? ? ? 201120122013201420152016 “?” PHP ? SQL ETL ? ? ? ? SQL ? ? ? ? ? ?Hadoop ETL ? ? ? ? ? Binlog ? Hadoop2.0 YARN ? Spark ? ? ? Hadoop ? ? ? & SLA ? OLAP ? ? ? ? 201120122013201420152016 “?” PHP ? SQL ETL ? ? ? ? SQL ? ? ? ? ? ?Hadoop ETL ? ? ? ? ? Binlog ? Hadoop2.0 YARN
5、? Spark ? ? ? Hadoop ? ? ? & SLA ? OLAP ? ? ? ? Hadoop ? NameSpace ? ? ? ? OLAP? Hadoop? ? 15?, ?500? ?9? 15?6?1000?, 15?12? 1500? ?, ? Hadoop? Hadoop? ?, ? Hadoop?, ? Hadoop? App?container? ?DataNode? HDFS?pipeline Hadoop? ? ?, ?NameSpace ? YARN?, ? ? HDFS?addBlock?, ?client?DataNode ?pipeline. ?cl
6、ient?. ?HDFS Balancer? ?Balancer?, ?Block?/? Hadoop? - ? 246 420 611 1110 1894 1985 2460 0 500 1000 1500 2000 2500 2015.03 2015.05 2015.07 2015.09 2015.11 2016.01 2016.03 cq dx rz all Hadoop? ? ?, ? ?, ? ? ? ? ?Hadoop/Spark? ?, ?, ? ?, ? ?/?, ? ? Spark?, ?/? ? ? ? ?, ?, ? ? ?ipython notebook+spark?zeppelin ?, ?bug / ?&? ?, ? ? ? user code git push ? Hadoop? Hadoop? ? OLAP? ? ?, 50? ?, 20? TP99 12? 3?, TP95%?1s?, ? ?2? ? ? ?, ? ?, ? ?, ? ? ? ? ?, ? ?, ? ? ? ? & ? ?patch? ? ? & ?
