《BC-oNest产品认证培训》由会员分享，可在线阅读，更多相关《BC-oNest产品认证培训（71页珍藏版）》请在金锄头文库上搜索。
1、11 BC oNest 对象存储 BC oNest 入门 中移 苏州 软件技术有限公司 云计算产品部 2017 09 22 课程体系 集群测试 集群运维 集群部署 架构与运行机制 背景与概念 33 课程内容 基础篇 章节内容 1 对象存储技术介绍对象存储基本概念 BC oNest产品介绍 2 Ceph简介Ceph项目介绍 总体架构 网络架构 3 Ceph运行机制 RADOS基本概念 副本 纠删码 PG 4 Ceph运行机制 CRUSH算法 bucket 权重 规则编写 Map设计 5 初级部署 方案设计与部署操作简单部署规划 基本环境配置 ceph deploy部署 8 常见测试工具及基础性能
2、与功能测 试 测试用例设计 测试工具使用 数据监控分析 10 基本运维操作 获取宏观集群信息 启停服务 查询服务状态 获取基本的日志信息 12 多数据中心架构与原理 简单操作 13 BC oNest Blueprint未来BC oNest的发展规划与发展方向 4 01 对象存储技术介绍 存储现状与存储体系 对象的概念 对象存储与文件存储对比 对象存储定位 5 存储体系结构层次 高性能 大多数数据库使用块存储设备 应用于关键业务和数据极度敏感业务 常见于高端存储 块存储 丰富的共享接口 存储非结构化数据 应用于多种场景 尤其是依赖NFS CIFS POSIX接口的系统 文件存储 水平高扩展性 存
3、储非结构化数据 操作及管理简单 应用于多种场景 比如网盘云存储 备份 归档等 对象存储 应用程序文件系统接口文件系统层磁盘驱动 应用程序文件系统接口文件系统层磁盘驱动 应用程序文件系统接口文件系统层磁盘驱动 内部网 局域网 万维网 块接口 块设备 文件接口 服务器 对象接口 x86 ARM 块存储 文件存储 对象存储 6 什么是对象 定制元数据 分类 宠物 分享策略 不分享 存储时间 1年 系统元数据 文件名 dog jpg 创建时间 2016 10 10 文件 定制元数据 系统元数据 文件 文件 元数据 对象 7 系统架构 硬件层 引擎层 服务层 接口层 存储管理 RAID HBA卡管理SA
4、S SATA SSD兼容 业务网 10GE IB 集群故障自愈并行一致性检查 数据哈希分布数据强一致性 集群状态管理 智能恢复 硬件感知 原生接口 存储池隔离 资源监控 自动化部署 在线升级 磁盘点灯 监控告警 日志管理 告警管理 用户管理 信息统计 S3 接口 磁盘错误检测 管理x86通用服务器 数据平衡硬件加速 自适应配置数据迁移 Swift接口 管理接口 存储网 10GE IB 文件接口 8 管理系统 集群概况存储池数量节点 磁盘数量 风险 告警监控 9 产品应用场景 BC oNest拥有水平扩展 高可靠 高性能等特点 应用于视频 图片的存储 结合CDN加速 提升用户体验 在备份 文件存
5、储和归档等领域应用前景广阔 逐渐替代传统网络存储系统 NAS 资源托管 静态网站托管 图片 视频存储 视频 图片转码 归档存储 内容分发 替代传统NAS作为备份系统 为虚机及卷提供备份存储 CDN后台存储系统 在线视音频及图片极速转码 视频点直播 存储与下载 10 02 Ceph简介 Ceph缘起 Ceph总体架构 集群组件 集群网络构成 11 Ceph是加州大学Santa Cruz分校的Sage A Weil专为博士论文设计的新一代自由软件 分布式文件系统 自2007年毕业之后 Sage开始全职投入到Ceph开发之中 Luminous Ceph缘起 12 版本更迭 13 总体架构 14 RG
6、W OSDMON MGR MDSREST Monitor MON Manager MGR 提供POSIX文件接口 MDS Object Storage Device OSD 提供S3 Swift接口 RADOS Gateway 提供HTTP Restful API接口 CEPH REST API 集群组件 15 集群组网 一个集群通常有三套网络 前端业务网 后端存储网 管理网 16 生产环境组网 17 03 Ceph对象存储运行机制 RADOS CRUSH 18 03 1 RADOS 基本概念 副本与纠删码 Placement Group Cluster Map Scrubbing 19 19
7、 RADOS a Reliable Autonomic Distributed Object Store Strong Consistency Replication Petabyte Scale OSD MON Recovery Failure Detection Part of Ceph 几个词需要理解 RADOS OSD MON PG CRUSH 20 20 RADOS a Reliable Autonomic Distributed Object Store OSD之间 OSD与Monitor之间均存在心跳 21 21 副本策略 22 22 副本策略 当前Ceph使用第一种方式分发数据
8、 日志写入完成即可返回ACK 读取只从主OSD读取 23 23 纠删码策略 K M K M 24 24 纠删码策略 25 25 纠删码策略 26 26 纠删码策略 27 27 纠删码策略 28 28 纠删码策略 29 29 纠删码策略 ABCDEFGH IJKLMNOP OSD21 主OSD OSD42OSD1OSD74OSD43OSD56 AB IJ 编码 4 2 CD KL EF MN GH OP YX ZY ST KQ 对象名 分片2 对象名 分片3 对象名 分片4 对象名 分片5 对象名 分片6 对象名 对象内容 对象名 分片1 主OSD计算分片并分发 30 30 纠删码策略 OSD2
9、1 主OSD OSD42OSD1OSD74OSD43OSD56 AB IJ 解码 4 2 CD KL EF MN GH OP YX ZY ST KQ 对象名 分片2 对象名 分片3 对象名 分片4 对象名 分片5 对象名 分片6 对象名 分片1 客户端 主OSD合并分片并解码返回 31 31 纠删码策略 默认Jerasure Reed Solomon Cauchy Reed Solomon 当前推荐Intel ISA L 32 32 Placement Group 33 33 Placement Group OSD状态 in out up down PG包括acting set up set
10、acting set 包含一个PG内所有副本数据的集合 up set 实际处理请求的集合 绝大部分情况下两者一致 不一致的情况通常是在恢复 或是其它问题 34 34 Placement Group PG状态 creating PG增加时才会出现 如创建存储池 PG分裂 如果卡在这一阶 段 请检查当前的CRUSH Map是否能够满足你的CRUSH Rule peering PG内的OSD还未就PG状态达成一致 active PG内的数据可以读写 clean PG内的OSD成功peer 并且PG内没有未就位的数据 active clean才是正常的状态 35 35 Placement Group
11、PG状态 degraded 降级 例1 主OSD 接收到数据 但没接收到 从OSD 返回ACK 例2 PG内的一个OSD down掉 则整个PG会被标为active degraded 直到该OSD回来 或者该OSD超时后OUT PG重组 例3 Ceph在PG内找不到理应在该PG内的数据 则该PG会被降级 degraded 但该PG内其它数据依然可用 直到问题解决 这状态常见 36 36 Placement Group PG状态 recovering PG内的数据正在恢复 back filling PG内的数据正在回填 backfill wait PG内的数据正等待回填 backfill too
12、 full 集群太满 无法回填 如果长期无法回填 PG有可能 会被标记为incomplete 上述都反映恢复状态 37 37 Placement Group PG状态 remapped PG的acting set已经变化 但新的OSD还没做好接受请求的 准备 这时需要旧的OSD继续接受请求 当新的OSD可用 两个set相同 该状态会消失 stale PG内的主OSD向monitor报告PG acting set失败 或是从OSD报 告主OSD down 则PG会被标记为stale stale意味着通信失败 建议检查网络状况 38 38 Placement Group PG状态 misplace
13、d PG回填时 可能会使用临时OSD 由于这时临时的而不是正 常的 所以会被标记为misplaced 或者说 所有副本都确实存在 但一个 或多个副本没有再应该在的OSD上 pg 1 5 up acting 0 1 2 pg 1 5 up 0 3 1 acting 0 1 2 0 1 2 是一个临时mapping 所以两个set不相等 但由于 0 1 2 是确实存在的三副本 故而状态是misplaced 而不是degraded 39 39 Placement Group PG状态 incomplete PG不完整 通信失败 没有足够的OSD去恢复数据 pg 1 5 up acting 1 2 3
14、 pg 1 5 up 1 4 3 acting 1 2 3 加入4 去掉2 回填 此时 如果OSD1 2 3全部挂了 4可能还没有完全回填 那么数据不完整 或者说没有足够的OSD去恢复 数据 此时 PG状态会被标记为incomplete 40 40 Cluster Map Monitor维护Cluster Map 规定了哪个OSD在集群里 及集群中数据要如何分布 Map版本永远不会倒退 Map更新只发差异图 增量更新 PG基于cluster map分配到OSD上 CRUSH 41 41 Scrubbing Scrub Deep Scrub Scrubbing的作用是PG内的数据一致性检查 Sc
15、rub只检查PG内的元数据 主要用于检查bug及文件系统 错误 Deep Scrub则会按位去校验实际对象数据 通常每天一次Scrub 每周一次Deep Scrub 42 03 2 CRUSH CRUSH算法 Bucket Type Weights Failure Domain CRUSH Map设计 43 CRUSH Controlled Replication Under Scalable Hashing 44 independancefirst n CRUSH 两种PG变化策略 45 Bucket Type 这里的bucket 和对象存储的bucket概念并不一致 在CRUSH Map里
16、 只有OSD是和物理设备对应的 46 Bucket Type Straw Buckets 为副本数 为输入 则将straw的长度基于权重进行缩放 特点 这种类型让bucket所包含的所有item公平的竞争 不像list和tree一样需要遍历 每一个bucket都会被分配到一个签 最长的签最有可能胜出 签的长度由 CRUSH输入x 副本数r item i决定 并被因子f Wi 与权重有关 保证权重越高越 容易胜出 伸缩 即 length f Wi hash x r i 虽然慢 但是straw bucket能在item被编辑时得到最理想的数据移动 如果经常 移除并且要求极高的重组效率 就是它了 47 Bucket Type CRUSH straw is dead long live straw2 straw2真正实现了增删节点 未改变节点的映射不会被影响 max x 1 max item 1 for each item x random value from 0 65535 x scaling factor if x max x max x x max item item return i
