《豆瓣开源数据存储系统BeansDB-刘洪清》由会员分享，可在线阅读，更多相关《豆瓣开源数据存储系统BeansDB-刘洪清（46页珍藏版）》请在金锄头文库上搜索。
1、豆瓣数据存储实践刘洪清2010/4/10关于豆瓣分享和发现书影音等文化生活信息的 UGC社区 2005年4月上线，目前Alexa国内排名26非典型LAMP架构的Web应用 Linux(Gentoo)? Apache(Nginx? Lighttpd)MySQL(InnoDB), Python些产品数字 3800万用户，540个城市 15万小组,4451音示人,1246主办方 430万条目（书，影，尋韦300万评论 1000万小组话题,1600万张照片，70万首单 曲每天70万条广播，上传近10万张图片10年4月13日星期二3背后的数据 200G结构化数据 800G文本数据 10T图片 6T音乐
2、2T日志2T各种备份数据大小和数量数据分类结构化数据用户信息，好友关系，广播流小文件文本内容，图片，音乐大文件日志，备份数据关注的冋题可靠性持久化，一致性可用性伸缩性性能成本10年4月13日星期二7结构化数据数据特点批量查找10年4月13日星期二8固定结构 按条件查询记录小而多数据之间有关联结构化存储 多索引 紧凑存储 事务，一致性要求 连续存储 InnoDB使用基本查询功能，外部Join 通iimemcache降低读的压力 分库，垂直分表分离文本字段MySQL 戾 Master (rw) Master双SCSI硬盘做RaidO半自动Fail Over多实例混合部署- Slave数据分类结构化
3、数据用户信息，好友关系，广播流小文件文本内容，图片，音乐大文件日志，备份数据小文件特点 访问方式：get, set, delete高可用，Fail-Over大空间：1095M，增长快用户数据，很重要基本无修改,一致性要求低随机访问，高并发，大量IO单机存储单机文件系统 reiserfs本地，远程(WebDAV, NFS)目录结构用rsync备份性能优化系统缓存，memcached, CDNClients(Ruby) /Mogiletrackers(mogilefsd)Strage nodes(mogstored)瓶颈:Tracker(MySQL)数据迁移比较慢10年4月13日星期二#node3
4、BeansDBsetftokyodata) Hash,不需要中心节点应用程序 数据库存储,lbkyoCabinetBeansDB10年4月13日星期二#node3$et（tok；，clata）应用程序 每个区间对应多个节点复制:客户端写多次依次读，直到有数据 Hash Tree快速同步10年4月13日星期二#10年4月13日星期二#10年4月13日星期二#Hash Tree38913710111415 160 129 30X27 2812 X19 204 523 24 25 269 10 1121 226 117 182 3offsetsiblingpiece indexfiler hash】
5、0年4月】3日星期二17异构节点BeansDB10年4月13日星期二#10年4月13日星期二#BeansDBn ock3扩容方法拷贝数据调整配置10年4月13日星期二#10年4月13日星期二#同步10年4月13日星期二#应用程序 $et（tok；，clata）10年4月13日星期二#10年4月13日星期二#10年4月13日星期二#BeansDB性能 5台,4T*3数据,1.5*3亿文件，一年多单位(ms)qps平均中位数99%99.9%读10040.580230写5050.66014010年4月13日星期二#10年4月13日星期二#10年4月13日星期二#数据分类结构化数据用户信息，好友关系，
6、广播流小文件文本内容，图片，音乐大文件日志，备份数据日志数据特点文件比较大:IOM-IOG比较重要数量比较少,一天几个线上服务产生，不能阻塞线上服务 一次生成（打包）,无修改定时或者偶尔访问,可用性要求不本地生成，定时打包，压缩单机储存,rsync备份类GFS的分布式文件系统 HDFS, Kosmos FS, MooseFSMooseFS c实现，轻量，简洁，高效，稳定 FUSE客户端，操作方便 Web监视界面按文件/目录控制拷贝数单Master,多MetaLogger,手动切换可以与Hadoop集成数据存储方案导入到数据仓库 Info Bright KDB+使用 Hadoop 200G结构化数据 800G文本数据一 10T 图片BeansDB 6T 音乐一._INFOBR:GHT 2T 日志 2T各种备份数据 MMFSI f ?血丸1心cwiii1 Thank YOU!Q&A沁.HA510年4月13日星期二
