《分布式存储在网盘和在线备份的应用研究》由会员分享，可在线阅读，更多相关《分布式存储在网盘和在线备份的应用研究（25页珍藏版）》请在金锄头文库上搜索。
1、 Monday, October 29, 2012 分布式存储在网盘和在线备份的应用研究分布式存储在网盘和在线备份的应用研究 卢亿雷 Carbonite China技术总监兼高级架构师 jlu 2012-10-25 2012 C 凯备份3 提纲提纲 互联网存储应用的特点互联网存储应用的特点 网网盘与盘与在在线备线备份的特份的特点点 云存储平台简介云存储平台简介 总体实现方案总体实现方案 分布式数据库架构分布式数据库架构 分布式数据库特点分布式数据库特点 分布式文件系统架构分布式文件系统架构 2012 C 凯备份4 互联网存储应用的特点互联网存储应用的特点 高可靠：数据多份存储高可靠：数据多份存
2、储 高可用：高可用： 7X247X24小时小时 高扩展：随时扩容高扩展：随时扩容 高性能：高并发，低延迟高性能：高并发，低延迟 高安全：分布式密钥和严格高安全：分布式密钥和严格IDCIDC管理制度管理制度 高性价比：价格成本可控制高性价比：价格成本可控制 易监控和维护：响应及时易监控和维护：响应及时 2012 C 凯备份5 网网盘和在盘和在线备线备份的特点份的特点 网网盘盘与与在在线备线备份有份有很多相同点很多相同点 后台架构类似 访问方式相似（上传及下载） 都是云存储服务 目标都是解决数据存储问题等 在线备在线备份相对网份相对网盘（同步盘）盘（同步盘）的的特殊特殊性性 是否保持用户的原始路径
3、 是否有设备的区分 是否可以备份企业级数据库 是否密钥用户可以自己保存 2012 C 凯备份6 云存储平台简介云存储平台简介 PC客户端手机客户端WEB 数据应用层 HBase 小数据存储层 MongoDBMySQL Hadoop/Carbonite 业务处理层 文件流信息 HDFSCFS 大数据存储层 2012 C 凯备份7 云存储平台简云存储平台简介介( (二二) ) 总共有总共有10001000亿个文件亿个文件 每天增加近每天增加近1 1个亿新文件个亿新文件 总共服务器台数约有总共服务器台数约有1 1万台万台 总存储量约为总存储量约为200P200P 2012 C 凯备份8 总体实现方案
4、总体实现方案 分布式数据库：关系数据库与非关系型数据库分布式数据库：关系数据库与非关系型数据库( (NoSqlNoSql) )集群集群 解决结构化数据的海量存储和高效访问解决结构化数据的海量存储和高效访问 MySQL HBase 分布式文件系统：以文件为存储单位的非结构化数据存储分布式文件系统：以文件为存储单位的非结构化数据存储 HDFS MongoDB 前端应用负载均衡前端应用负载均衡 LVS Ngnix 2012 C 凯备份9 分布式数据库分布式数据库架构架构 2012 C 凯备份10 分布式数据库分布式数据库架构架构( (二二) ) HBaseMySQL 离散数据信息 Master1,2
5、Slave1,2Master1,2,3Slave1,2,3,4,5 同步服务同步服务 交易数据等文件属性等 2012 C 凯备份11 分布式数据库分布式数据库特点特点- -HBaseHBase 成熟度比较高，目前已有多个著名公司在使用成熟度比较高，目前已有多个著名公司在使用 Taobao Facebook Adobe Twitter Yahoo! Trend Micro 广告分析公司 2012 C 凯备份12 分布式数据库分布式数据库特点特点- -HBaseHBase ( (二二) ) 行强一致性行强一致性 同一行数据的读写只在同一台RS（RegionServer）机器上进行 同一行的列的写入
6、是原子操作 水水平自动伸缩平自动伸缩 Region的自动分裂(生产系统需要看具体情况) Master的自动均衡 增加RegionServer机器即增加读写吞吐量及处理能力 增加DataNode机器可增加容量 2012 C 凯备份13 分布式数据库分布式数据库特点特点- -HBaseHBase ( (三三) ) 任意任意增加列增加列 高性能随机写高性能随机写 支持支持ThriftThrift框架框架 2012 C 凯备份14 HbaseHbase经验分享经验分享 合理设计合理设计rowKeyrowKey 和和 PrePre- -ShardingSharding 尽量避免只操作少数几台机器； 根据
7、数据量、RegionServer个数合理Pre-Sharding。 充充分利用分利用FilterFilter功能功能 SingleColumnValueFilter SubstringComparator BinaryPrefixComparator FamilyFilter QualifierFilter ColumnPrefixFilter ColumnPaginationFilter 2012 C 凯备份15 HbaseHbase经验分享经验分享( (二二) ) 可根据应用需求重写某些方法可根据应用需求重写某些方法 SubstringComparator Override public
8、int compareTo(byte value) String laststr = Bytes.toString(value).toLowerCase(); return laststr.contains(substr) ? 0 : 1; 2012 C 凯备份16 HBaseHBase经验分享（三）经验分享（三） 充分充分FilterListFilterList的的addFilteraddFilter BinaryPrefixComparator QualifierFilter ColumnPrefixFilter PageFilter 2012 C 凯备份17 HBaseHBase经验分享
9、（四）经验分享（四） 考虑容量开启压缩考虑容量开启压缩 目前主要是lzo方式 提高随机读性能提高随机读性能 前端增加一个分布式缓存Radis系统 系统参数系统参数优化优化 GC策略：-XX:+UseConcMarkSweepGC -XX:+UseParNewGC - XX:CMSInitiatingOccupancyFraction=70 读写策略优化 2012 C 凯备份18 HBaseHBase经验分享（五）经验分享（五） 系统参数优化系统参数优化 读优化： hbase.regionserver.handler.count hbase.regionserver.global.memstor
10、e.upperLimit/lowerLimit hbase.hregion.memstore.block.multiplier hbase.hstore.blockingStoreFiles hbase.hregion.max.filesize 写优化： Bloomfilter in-memory Blockcache hfile.block.cache.size 2012 C 凯备份19 分布式分布式文件系统架构文件系统架构 大文件数据大文件数据 HDFS 小文件数据及分块数据小文件数据及分块数据 MongoDB 文件文件“垃圾垃圾”数据回收数据回收 2012 C 凯备份20 分布式文件系统
11、分布式文件系统架构架构- -HDFSHDFS ( (二二) ) NFS Server/ BackupNode 2012 C 凯备份21 分布式文件系统分布式文件系统架构架构( (三三) ) 文件流数据 Shard1 ShardN Replica set Master1,2Slave1,2,N MongoDB HDFS 校校验验服服务务 小文件/分块数据 大文件 2012 C 凯备份22 MongoDBMongoDB经验分享经验分享 尽量创建尽量创建索引索引 限定返回结果条数限定返回结果条数 FilterFilter只只返回需要的数据返回需要的数据 优化主键，尽量自己控制主健优化主键，尽量自己控
12、制主健IDID UUIDUUID主键使用主键使用BinaryDataBinaryData数据类型存储数据类型存储 2012 C 凯备份23 HDFSHDFS经验分享经验分享 系统参数优化系统参数优化 GC策略 带宽策略优化带宽策略优化 带内与带外心跳的区分 NameNode的备份至NFS时尽量不影响正常带宽使用 同步锁机制尽量少用同步锁机制尽量少用 所有文件IO操作的地方尽可能不要加同步锁 文件复本数设置文件复本数设置 尽量根据应用的访问频率设置不同份数 2012 C 凯备份24 HDFSHDFS经验分享经验分享( (二二) ) NameNodeNameNode数据损坏原因分析及修复数据损坏原因分析及修复 查看日志，确定大概问题位置 备份fsimage，edits等 使用OfflineImageViewer方法查看（可能不行） 编译相应Hadoop版本 在相关读取文件信息的地方适当加一些TRY/CATCH 多次查找分析元数据信息 Replay重新生成fsimage 2012 C 凯备份25 Q & AQ & A THANKS
