《基于memcached的高速缓存功能扩展研究》由会员分享，可在线阅读，更多相关《基于memcached的高速缓存功能扩展研究（63页珍藏版）》请在金锄头文库上搜索。
1、国内图书分类号：T P 3 1 国际图书分类号：0 0 4 4 密级：公开 西南交通大学 硕士研究生学位论文 基于M e m c a c h e d 的高速缓存功能扩展研究 年 姓 申请学位级别王堂亟 专 业让篡扭筮佳皇堡论一 指导老师搂堑适量熬援 二零一二年五月十八日 C l a s s i f i e dI n d e x ：1 1 P 3l U D C ：0 0 4 4 S o u t h w e s t J i a o t o n gU n i v e r s i t y M a s t e rD e g r e eT h e s i s T H ER E S E A R C HO F
2、F U N C T I O N E X T E N S I O NB A S E DO NT H EE M C A C H E D C A C H E G r a d e ：2 0 0 8 C a n d i d a t e ：D e n gS h i Q u a n A c a d e m i cD e g r e eA p p l i e df o r ：M a s t e r S p e c i a l i t y ：C o m p u t e rS o f t w a r ea n dT h e o r y S u p e r v i s o r ：L o uX i n y u a n
3、 M a y 1 8 ，2 0 1 2 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密曰，使用本授权书 ( 请在以上方框内打“扩) 学位论文作者签名： 矸杪和 指导老师签名： f 塞谁 日期：刃，2 g 7 日期2 加陟厂多。 西南交通大学硕士学位论文主要工作( 贡献) 声明 本人在学位论文中所做的主要工作或贡献如下： 1 ) 论述了缓存在互联网领域的地位和作用，总结了目前相关的缓存技术策略及 其分类，主要包括相关的缓存置换算法以及当前较常用的缓存产品。 2 ) 对M e m c a c h e d 高速缓存系统进行了深入研究，分析了M e m c a c h e d 内部工
4、作机 制以及执行流程。详细分析了M e m c a c h e d 的内存处理机制、事件处理机制、内部h a s h 机制以及安全认证机制。 3 ) 在M e m c a c h e d 源码的基础上，对日志功能、缓存数据持久化以及缓存数据遍 历功能进行了深入研究，并在此基础上设计并实现了上述功能，弥补了缓存系统在这 些部分的不足。 4 ) 采用黑盒测试技术，以人工测试和自动化测试相结合的方式对系统扩展的相关 功能进行了验证性测试，并分析了其性能。 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成 果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰
5、 写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中作了明确说明。 本人完全了解违反上述声明所引起的一切法律责任将由本人承担。 学位论文作者签名： 日期： 叩杉和 M 叶 西南交通大学硕士研究生学位论文第1 页 摘 要 随着计算机技术的不断发展，缓存技术已经得到了广泛应用。近年来，互联网的 普及，导致了互联网用户剧增，高速缓存技术更是成为了研究的热点。高速缓存技术 的应用，可以有效提高系统的响应速度，降低网络带宽消耗，减少网络阻塞，从而解 决数据量大、信息更新频繁所导致的问题。良好的缓存架构方案是大型互联网应用系 统实现海量数据处理、多用户并发访问以及提供良好用户体验的关键。 本文分
6、析了当前常用的缓存技术及其产品的特点，深入分析了高速缓存系统 M e m c a c h c d 的架构方案、工作原理以及内部实现机制，并在此基础上，针对M c m c a c h c d 存在的缺陷和不足，对其功能进行了扩展和改进。通过M e r n c a c e d 源码分析，进一步 扩展了缓存数据遍历、数据持久化以及系统日志等功能。在扩展功能实现的过程中， 使用了工厂设计模式，降低了持久化模块接口之间的耦合度；同时，通过引入批量数 据保存策略，有效地减少了磁盘F O 开销，并采用多种数据保存接口触发机制来增加 系统数据的可靠性、安全性。在缓存数据遍历设计中，采用了数据分批发送的方式来
7、降低内存开销。最后，本文采用黑盒测试技术，以人工测试和自动化测试相结合的方 式对系统扩展的相关功能进行了验证性测试，并分析了其性能。测试结果表明，扩展 功能不仅有效的弥补了M e m c a c h e d 在功能设计方面的的不足，丰富了其应用，同时， 新增功能并不会增加太多额外的开销，完全能够和以前的功能融合在一起协同工作 关键词：M c m c a c h c d ：缓存技术；置换策略；持久化 西南交通大学硕士研究生学位论文第1 I 页 A b s t r a c t C a c h et e c h n o l o g yh a sb e e nw i d e l ya p p l i
8、e dw i t ht h ec o n t i n u o u sd e v e l o p m e n to f c o m p u t e rs c i e n c e I nr e c e n ty e a r s ，谢t l lt h ep o p u l a r i t yo fI n t e m e t ，t h e r ei sad r a m a t i ci n c r e a s e o fI n t e m e tU S e r Sw h i c ha l s om a k e st h eh i g h - s p e e dc a c h et e c h n o
9、l o g yah o tt o p i ci nt h e r e s e a r c hf i e l d H i g h - s p e e dc a c h et e c h n o l o g yc a ne f f e c t i v e l yi m p r o v et h es y s t e mr e s p o n s e s p e e d , r e d u c et h en e t w o r kb a n d w i d t hc o n s u m p t i o na n dn e t w o r kc o n g e s t i o n , a n dt
10、h u ss o l v e t h ep r o b l e m sc a u s e db yt h el a r g ea m o u n to fd a t aa n df r e q u e n t l yu p d a t e di n f o r m a t i o n H e n c e ， e x c e l l e n tc a c h ea r c h i t e c t u r eb e c o m e sak e yf a c t o rf o rl a r g e = s c a l eI n t e r a c ta p p l i c a t i o n st
11、o a c h i e v em a s s i v ed a t ap r o c e s s i n g ，c o n c u r r e n ta c c e s so fah u g en u m b e ro fu s e r sa n dt op r o v i d e g r e a tU S e re x p e r i e n c e I nt h i sp a p e r , s o m ec u r r e n t l yu s e dc a c h et e c h n o l o g i e sa n df e a t u r e so ft h e i rp r o
12、 d u c t sa r e p r e s e n t e df i r s t l y , w h i c hi sf o l l o w e db yap r o f o u n da n a l y s i so fh i g h - s p e e dc a c h es y s t e mc a l l e d M e m c a c h e da n di t sa r c h i t e c t u r e ，p r i n c i p l ea n dm e c h a n i s m ；s e c o n d l ys o m ew o r kw h i c hh a s
13、 b e e nd o n et oi m p r o v et h ef u n c t i o n a l i t yo fM e r n c a c h e dm o d e ld u et oi t se x i s t i n gd e f e c t sa n d d e f i c i e n c i e si sp r e s e n t e d T h e nt h r o u g ha na n a l y s i so fM e m c a c e d s o u r c ec o d e ，f e a t u r e ss u c h a sc a c h eW a v
14、 e r s a l ，d a mp e r s i s t e n c ea n ds y s t e ml o ga r ei n t r o d u c e 比! a se x p a n d e df u n c t i o n si n t h e i m p r o v e dm o d e l D u r i n gt h ea c h i e v e m e n to ft h e s ef u n c t i o n s ，t h ec o u p l i n gd e g r e e b e t w e e nt h ep e r s i s t e n tm o d u
15、l e s i n t e r f a c e si sl o w e r e db yu s i n gt h ef a c t o r ym e t h o d ；i nt h e m e a n t i m e ，t h ed i S kI 0o v e r h e a di se f f e c t i v e l yr e d u c e db ya p p l y i n gb u l kd a t as t o r a g e s t r a t e g y ；, t h er e l i a b i l i t ya n ds e c u r i t yo fs 笋；t e m
16、d a t ai sa u g m e n t e d 、析t l lt h eu s eo fd a t a s t o r a g ei n t e r f a c et r i g g e rs t r a t e g y A n d i nt h ed e s i g no fc a c h ed a t at r a v e r s a l ，d a t ai s t r a n s m i t t e di np a c k a g e si no r d e rt or e d u c et h em e m o r yc o n s u m p t i o n I nt h el a s tp a r to ft h i s p a p e r , b ya d o p t i n gt h eb l a c kb o xt e s t i n gt e c h n i q u ec o m b i n e d 、们t l lt h em a n u a la n da u t o m a t i c t
