《江峰中国电信云计算公司高级研发经理课件》由会员分享，可在线阅读，更多相关《江峰中国电信云计算公司高级研发经理课件（23页珍藏版）》请在金锄头文库上搜索。
1、,主讲人：江峰 中国电信云计算公司,面向对象存储,Object-Oriented Storage, OOS,1,目录,背景,面向对象存储,技术架构,API简介,可提供高性能虚拟主机2万台*云 （核心） 心,2,无与伦比的资源, ,机房面积超过100万平米 规模以上机房超过300个 机架超过10万个, ,ChinaNet,数据中心 （边缘）,MAN,内蒙古数据中心建成后超过18万个 数据中 块存储容量2万TB（20PB） 骨干网带宽22T，国际出口带宽760G 十二五期间具备数百万级的虚机提供能力,*低成本云数据中心 （内蒙+待选址） CN2 VPLS/传输,3,2012年5月，中国电信云计算公
2、司正式挂牌,由美籍华人谢朝阳博士领衔，负责面向客户的云业务和资源的集中运营和 集中管理，对全网云业务收入与效益负责。,我们对云的理解Hosting is the Cloud!,Physical 裸机,OS Hardware,Applications,Virtual Machine 虚拟机,OS,Apps,Hypervisor Hardware,OS,Apps,OS,Apps,C/S/N as a Service 云,Apps,C,Apps,OS,S,Apps,N,Engine Hardware,Rack space 机架,中国电信致力于从传统IDC到狭义云计算一体化的广义云 4,5,目录,面向
3、对象存储,背景,技术架构,API简介,6,什么是“面向对象”的存储, ,为“互联网应用”而生组织架构 互联网上每个网页、图片、视频都是“对象”, ,不关心路径，URL就是唯一标识 只是上传或者下载 下载量 上传量,没有“文件路径”的概念的存储 没有分级的路径 所有的数据都被称为“对象” ,每个对象都属于一个“bucket”,bucket,object,object,bucket,object,object,owner,7,定位,特征, ,面向互联网的新型存储系统 总容量可以特别大 并发读写带宽可以特别高 延迟较大,面向互联网，而不是企业级存储, ,延迟不是问题 最终一致性 大、小对象都要支持,
4、面向对象，而不是文件系统（HTTP特征决定）, ,只能顺序读，不能跳着读 只能重新写，不能修改 很少有LIST目录的需求 无锁,8,CTyun OOS,完全兼容Amazon S3协议 开发者可以直接使用Amazon官方SDK, 提供Java/.net/Python/Ruby/Php,SDK, ,容量大、带宽足 决心大，不会半路退出 多点五星级机房 北京、上海、广东、四川、内蒙古 物理层的安全防护，异地容灾 自主研发,9,设计考虑, ,扩展性 scalability 简单增加服务器即可线性扩容 扩容时，数据平滑迁移，不会大规模re-partition 可用性 availability 无任何单点
5、故障 即使小面积断电，活的服务器仍可继续工作 数据可靠性 data reliability 每个对象自动保存三份, 可关闭该feature，实现reduced,redundancy storage, 后台低优先级audit进程确保3,replica、对象无损,10,设计指标, ,Object的总数：无限 每个Object的size：无限 裸容量：32EB（可调） 总吞吐量：800TB/s 每account可容纳container数：约100万 每container可容纳object数：约10亿 每object可支持version数：约100万 允许从object的中间开始读，故支持多线程下载,
6、11,目录,技术架构,背景,面向对象存储,API简介,12,3rd replicated in background, ,disk-c = route(bucket) write part on disk-c,proxy,proxy,route node,route node,route node,如何存储object Http Request,13,Route的实现,一张路由表 Key：bucket Value：所在的node、disk, Example:,disk-idnode-113.zone-1.region-1.private, 读多写少，采用ordered,broadcast pr
7、otocol同步,14,Route初始化, ,一个bucket对应3个disk 每个bucket的： 第一个disk随机分配 第二个disk离第一个disk的距离较近 第三个disk离第一个disk很远 好处：即使部分网络中断，还有一个node可读。异地灾 备。,15,性能分析, ,鉴于“读写”，只看读性能 Proxy可通过本地的route直接查到目标disk直接 定位到目标disk读数据 完全decentralized，中间没有单点瓶颈 Decentralized的设计有更好的并发性和更低的延迟。,16,如果某磁盘不可用(拔出/坏了),for each bucket_i on disk:,
8、disk_1,= acquire (bucket_i); /申请新盘并修改route表, disk_0 = route(bucket_i); /找到另一个replica所在盘 copy bucket from disk_0 to disk_1,性能： 没有单盘瓶颈，可利用全网node完成replicating,17,如果磁盘满,假定往disk_0的bucket_1写时出现空间不足，则：,heap即可), 找到route中剩余空间最大的disk_1(用max 修改route表 后台迁移进程, ,若此时有读写请求： 写操作：写入disk_1中 读请求：优先读disk_1上的bucket_1；若无，
9、则从 disk_0上读。 性能 只需迁移一个bucket，而不是整个disk，因此很快。,18,如何扩容, ,增加新磁盘 新的磁盘会被加入到route中最空闲的list中 平滑扩容，没有re-partition风暴 提供route-editor工具，可以手工调度一部分bucket 迁移到新增的磁盘上 增加新的服务器 等价于增加几十块磁盘，过程同上,19,一些开源组件, ,Rabbit MQ 模块间的异步通信 Berkeley DB 用于小规模、需持久化、高效查询 感谢开源社区！回馈开源社区！,20,目录,API简介,背景,面向对象存储,技术架构,21,API的使用,AmazonS3 client= new AmazonS3Client(); client.setEndpoint(“ client.createBucket(“”); client.putObject(“”, “logo.jpg”);,代码样例：,用户见到的URL： ,22,谢 谢！,
