《云计算架构-01-链家网存储架构变迁-吕毅》由会员分享，可在线阅读，更多相关《云计算架构-01-链家网存储架构变迁-吕毅（23页珍藏版）》请在金锄头文库上搜索。
1、 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 吕毅 2016.09 链家网存储架构变迁链家网存储架构变迁 自我介绍自我介绍 吕毅 链家网架构师 曾供职于新浪平台架构部、百度移动云事业部 参与项目新浪SAE，百度移动搜索、手机百度APP 2015年9月加入链家网 2015.102016.8，负责链家网平台服务建设 2016.8至今，负责链家网大数据平台建设 目录目录 链家网与存储架构变迁 一场持续半年的存储改造工作 我们所熟悉的AWS S3 Q&A 链家网与存储架构变迁链家网与存储架构变迁 链家网
2、线上业务历程链家网线上业务历程 链家地产成立 链家在线、HERP系统上线运营 “楼盘字典”项目启动 2001年 2007年 2008年 2012年 链家提出“真房源” SE(Sales Effectiveness)系统上线 TE(Transaction Effectiveness)系统上线 “掌上链家”APP发布 “链家在线”更名为“链家网” 域名变更为L 着手重建to C业务 着手自研SE、TE系统 2014年 2016年 SE、TE合并为Link系统 “楼盘字典”项目积累6000万房产信息 链家网存储架构变迁链家网存储架构变迁 链家地产成立 链家在线、HERP系统上线运营 “楼盘字典”项目
3、启动 2001年 2007年 2008年 2012年 链家提出“真房源” SE(Sales Effectiveness)系统上线 TE(Transaction Effectiveness)系统上线 “掌上链家”APP发布 2014年 2016年 SE、TE合并为Link系统 “楼盘字典”项目积累6000万房产信息 传统文件系统 FastDFS Ceph AWS S3 “链家在线”更名为“链家网” 域名变更为L 着手重建to C业务 着手自研SE、TE系统 链家网存储服务链家网存储服务相关数据相关数据 总存储文件： 8270万+ 总存储容量： 43TB 房源实勘图 66% 其他图片 15% 音视
4、频 13% 文件备份 4% 其他 2% 一场持续半年的存储改造工作一场持续半年的存储改造工作 为什么要改造为什么要改造? 使用Ceph遇到了问题： 容量不够 维稳成本 数据备份 使用Ceph遇到了问题： 容量不够 维稳成本 数据备份 使用S3不需要操心的事： 容量规划 存储管理 数据备份 维修硬件 为什么选用为什么选用AWS S3? 云存储为何选用云存储为何选用S3? (1/2) 十年 S3 云存储为何选用云存储为何选用S3? (2/2) 11个9的持久性 链家网存储架构链家网存储架构 2015年年 corporate data center AWS Direct Connect ELB (i
5、nternal) EC2 （Web Services） ELB (public) Ceph Business groupBusiness group Business A Business B Projects (Web services) 80% 20% 链家网基于链家网基于AWS S3的存储架构的存储架构 corporate data center AWS Direct Connect Projects (internal) ELB (internal) EC2 (auto scaling) ELB (public) S3 Redshift Cache security groupsecurity group Availability Availability ZoneZone 存储架构改造中遇到的问题存储架构改造中遇到的问题 存量与增量的问题 业务方迁移成本 写入数据双写 数据迁移 我们我们所所熟悉熟悉的的AWS S3 关于关于Bucket Bucket名全球唯一 可以建立Huge Bucket 关于文件检索与统计关于文件检索与统计 使用数据库存储文件Meta信息供检索 关于存储成本关于存储成本 冷数据 使用AWS Glacier存储 代理代理S3服务服务 在S3能力之上 封装公司通用逻辑 Q&A Thank you！
