《SAAC架构师大会分享.ppt》由会员分享，可在线阅读，更多相关《SAAC架构师大会分享.ppt（16页珍藏版）》请在金锄头文库上搜索。
1、1SAAC架构师大会分享庄远庄远2011-09-302l大规模社区构建-百度贴吧的实践l 心得分享主要内容3什么是贴吧？l大型综合社区 ：讨论区+视频区+相册区+游戏区+ itieba+无线贴吧+. l技术：LAMP + nosql + 数据挖掘 + 反作弊 + 无线大规模社区构建-百度贴吧的实践4流量&数据量百亿贴子的存储，某些热门主题可达千万回复 P级的视频数据存储 来自浏览器每秒10w量级的浏览请求数 内部每秒数十w量级的更新请求转发 快速开发 快鱼吃慢鱼 可用性&数据安全性 7*24小时的互联网服务，容灾，冗余 丰富的应用类型，迥异的访问模式 数百个服务 不同应用有不同要求：检索，推送
2、 贴吧架构面对的技术挑战 5贴吧架构面对的技术挑战 6webserver 异步化，逐渐不用apache接入层 7轻量型解决方案（日常快速开发）大数据存储解决方案 （大量数据）存储层 8Mysql+cache+flashMysql：持久化 Cache：加速 Flash：硬件scale upFlash卡随机读写比磁盘有量级上的提升，顺序读写比高端磁盘略低 存储层-轻量型解决方案 9适用场合某些数据量特别大或者对性能要求特别苛刻的应用某些需要特殊功能的需求 优点 专用存储，性能可以极限优化 缺点 开发维护代价较高 灵活性偏弱 更多的例子：检索，推送，日志分析等 大数据量存储解决方案 10分区概念 垂
3、直分区：按功能 水平分区：按key分区的目的 冗余 可扩展性 性能：将不同的访问模式分开，利于优化 存储层-大数据量存储解决方案 11分区的实现：消息队列 消息队列 Replication 可靠性贴吧的消息队列集群 峰值数十w/s的转发量 分区-消息队列(MQ) 12随机存储和连续存储-回复放到一起 内存patch 多种cache效果：单机可以跑满网卡 贴吧贴子存储 13视频存储查询模式：视频id-视频流数据量P量级 Key-value存储 14nosql百花齐放文档数据库：mongo DB、 CouchDB类关系数据库：cassandra、hbase缓存系统：memcached、redis分布式文件系统：HDFS、MogileFS、TFS、FastDFS、MooseFS 、Lustre。 心得分享-技术 15阿里的开放和分享精神，赢得好评百度对开源系统，用得很深很透新浪的云平台SAE做得有声有色 心得分享-参会公司评价
