《支持异构网络存储服务的YaFS文件系统研究与实现》由会员分享，可在线阅读，更多相关《支持异构网络存储服务的YaFS文件系统研究与实现（71页珍藏版）》请在金锄头文库上搜索。
1、国防科学技术大学 硕士学位论文 支持异构网络存储服务的YaFS文件系统研究与实现 姓名：毛华坚 申请学位级别：硕士 专业：计算机科学与技术 指导教师：卢宇彤 20091101 国防科学技术大学研究生院硕士学位论文 摘要 随着经济和科技的发展，用户对移动设备的需求不断增大，使用智能移动手 机及上网本等各种移动设备的数量不断增多，对各类移动设备的存储容量、多个 设备中数据同步、用户间信息共享、资源随处可用等的要求给相关数据存储与管 理带来了挑战。另一方面，随着高速移动网络的广泛部署及云存储等网络存储服 务的发展，移动设备通过高速移动网络将网络存储服务作为存储后端已成为可能。 本文设计并实现了一个支
2、持异构网络存储服务的Y a F S 文件系统，通过网络提 供商提供的网络环境，使用I n t e m e t 中的各种网络存储服务增大智能设备的存储容 量，能较好地满足各类移动设备对大数据存储、管理、访问与同步的需求。论文 主要工作和创新主要包括： 1 、针对移动设备存储容量受限以及多设备数据管理困难等问题，设计并实现 了Y a F S 文件系统框架。通过设计兼容P O S I X 标准的文件系统接口实现系统对已 有应用程序的无缝支持；通过设计存储抽象层与插件机制实现系统对异构网络存 储服务的支持。 2 、为减少系统产生的流量以及因网络交互而带来的网络延迟，设计了一套缓 存管理策略。通过使用数
3、据预取策略提高了系统读写性能并降低了操作响应时间； 通过设计一种基于缓存替换代价的m L R U 替换算法提高了缓存命中率；通过设计 一套基于租约锁的一致性维护协议保证了多客户端缓存使用的正确性；通过本地 缓存的使用确保系统在离线状态可用，增强了系统可靠性和可用性。 3 、针对移动网络特点，为进一步提高系统性能以及数据安全性，设计了一组 可动态加载的模块化系统优化方法。通过引入数据条块化技术提高了系统对数据 读写的并发度，增强了系统的总体性能；通过设计并使用元数据与数据混合存储 的处理模式提高了系统对小文件操作的性能；通过采用动态可配置的数据压缩、 加密等处理策略减少了系统流量并保证了操作数据
4、安全。 4 、对原型系统进行性能测试，分别从接口支持和系统性能两方面对课题实现 的原型系统进行测试。接口功能测试实验显示，系统有效地实现了对P O S I X 标准 接口的支持；系统性能测试结果表明，本文设计并实现的系统是一种简化应用程 序透明访问异构存储服务较为有效的解决方案。 主题词：文件系统，缓存管理，优化方法，性能测试 第i 页 国防科学技术大学研究生院硕士学位论文 A B S T R A C T W i t ht h ed e v e l o p m e n to fe c o n o m i ca n dt e c h n o l o g i c a l ，i ti sc o m
5、m o nf o ru s e r st o h a v eo n eo rm o r em o b i l ed e v i c e s A n dt h ed a t as y n c h r o n i z a t i o n ，i n f o r m a t i o ns h a r i n g a n dr e s o u r c e sa c c e s s i b i l i t ym a k et h ed a t am a n a g e m e n tf a c e 、斩t 1 1m o r ec h a l l e n g e s O n t h eo t h e rh
6、a n d ，谢t l lt h ew i d e s p r e a dd e p l o y m e n to fh i g h - s p e e dm o b i l en e t w o r k sa n d v a r i o u sn e t w o r ks t o r a g es e r v i c e s ，i th a sb e c o m ep o s s i b l ef o rm o b i l ed e v i c et ou s et h e n e t w o r ks t o r a g es e r v i c e sa si t ss t o r a
7、g eb a c k e n dv i ah i g h s p e e dn e t w o r k m sp a p e rd e s i g n sa n di m p l e m e n t sa ne x t e n s i b l ef i l es y s t e ml 量a m e w o r k ，Y a F S ， u s i n gh e t e r o g e n e o u sn e t w o r ks t o r a g es e r v i c e sa si t sb a c k e n d st oi n c r e a s et h es t o r a
8、g e c a p a c i t yo f t h em o b i l ed e v i c e s 砀em a i nw o r ka n di n n o v a t i o n sa r ea sf o l l o w s ： F i r s t l y ，i no r d e rt od e a l 诵mt h es t o r a g ec a p a c i t yd e f e c to fm o b i l ed e v i c e sa n dt h e d i f f i c u l t yo fd a t am a n a g e m e n t ，w ed e s
9、i g na n di m p l e m e n tY a F S ，af i l es y s t e mu s i n g h e t e r o g e n e o u ss t o r a g es e r v i c e sa si t sb a c k e n d s I ti m p l e m e n t saP O S I Xc o m p l i a n t i n t e r f a c et og u a r a n t e et h eu s a b i l i t yo fe x i s t i n ga p p l i c a t i o n s A n db
10、yi m p l e m e n t i n ga s t o r a g ea b s t r a c t i o nl a y e ri tm a k e st h ef i l es y s t e mp o s s i b l et os u p p o r th e t e r o g e n e o u s s e r v i c e s S e c o n d l y ，诵mt h ep u r p o s eo fr e d u c i n gt h en e t w o r kt r a f f i ca n di m p r o v i n gt h e s y s t e
11、 mp e r f o r m a n c e ，Y a F Sh a sd e s i g n e dac a c h i n gm a n a g e m e n ts t r a t e g y B yu s i n gd a t a p r e f e t c h i n ga n dac o s t - b a s e dc a c h er e p l a c e m e n ta l g o r i t h mm L R U ，i tm a k e st h es y s t e m o p e r a t i o n sw i t hah i g hp e r f o r m
12、a n c ea n dl o wl a t e n c y B yi m p l e m e n t i n gal e a s e - l o c k b a s e dc a c h ec o h e r e n c ep r o t o c o l ，i ta s s u r e st h eu s e ro ft h es y s t e mc o r r e c t n e s s A n d 丽t l l t h eu s eo fc a c h e ，i tm a k e st h es y s t e mb er u n n a b l ei nt h eo f f i i
13、n em o d e T h i r d l y ，a c c o r d i n gt ot h ep r o p e r t i e so fm o b i l en e t w o r k ，w ed e s i g nam o d u l a r o p t i m i z a t i o nf r a m e w o r ki no r d e rt oi m p r o v et h es y s t e mp e r f o r m a n c ea n dd a t as e c u r i t y B yr e f e r r i n gt ot h ei d e ao fd
14、 a t as t r i p e ，w ec o n c u r r e n t l yp r o c e s st h ed a t as t r i p et oa c h i e v e ah i g hp e r f o r m a n c e A n dw ed e s i g nah y b r i dm o d ei nY a F St oi m p r o v et h ep e r f o r m a n c e f o rs m a l lf i l e s B e s i d e s ，w eu s eae n c r y p t i o nm o d u l et o
15、d e a l 、) r i t l lt h ed a t as e c u r i t ya n da c o m p r e s s i o nm o d u l e t ol i m i tt h en e t w o r kt r a f f i c F o u r t h l y ，w et e s tO u rs y s t e mo nt h ea s p e c t so fi n t e r f a c es u p p o r t i n ga n ds y s t e m p e r f o r m a n c e W i t ht h ee v a l u a t i
16、 o no n ap r o t o t y p ei m p l e m e n t a t i o nw i t l le m a i ls e r v i c e sa s i t ss t o r a g eb a c k e n ds h o w st h a tt h ep e r f o r m a n c ea n du s a b i l i t yo ft h ef r a m e w o r ki s v i a b l e K e yW o r d s ：f i l es y s t e m ，c a c h em a n a g e m e n t ，o p t i m i z a t i o n ，e v a l u a t i o n 第i i 页 国防科学技术大学研究生院硕士学位论文 表1 1 表3 1 表3 2 表3 3 表5 1 表5 2 表 表 表 表 表6 2 表6 3 表目录 几款免费云同步与备份软件比较7 Y a F S 文件系统需
