《专题3-p2p网络体系结构(2013简)》由会员分享，可在线阅读，更多相关《专题3-p2p网络体系结构(2013简)（87页珍藏版）》请在金锄头文库上搜索。
1、P2P网络体系结构,概述,对等网络(P2P网络)是分布式系统和计算机网络相结合的产物，在应用领域和学术界获得了广泛的重视和成功，被称为“改变Internet的新一代网络技术”。,课程信息,教材 对等网络：结构、应用与设计 陈贵海、李振华著，清华大学出版社，2007.9,P2P网络的概念、发展、特点、应用,P2P：Peer to Peer对等网络 peer指网络结点在 行为上是自由的任意加入、退出，不受其它结点限制，匿名 功能上是平等的不管实际能力的差异 连接上是互联的直接/间接，任两结点可建立逻辑链接，对应物理网上的一条IP路径 充分利用网络带宽、结点资源，提高工作效率,从T/H,C/S到P2
2、P-计算模式的轮回,实线表示物理连接，虚线表示逻辑连接,P2P的思想1956年提出（为什么今天成为现实？） 1999年Internet上第一个应用Napster，半年发展了5000万用户 其后涌现Gnutella, KaZaA, BitTorrent, eDonkey/eMule, Skype 此后 学术界重视 占据Internet一半以上的带宽,不同类型P2P网络几乎同时出现，无明确界定，大致分类 混合式P2P网络：C/S、P2P模式的混合 无结构P2P网络：分布/松散的结构 结构化P2P网络：准确、严格的结构,设计和实现P2P网络应解决的基本问题 路由和定位、查询和搜索、动态结点算法、容错
3、性 P2P网络的增强机制 数据复制、缓存、分片；负载均衡；拓扑一致性；匿名、声誉、信任、安全性,P2P网络的优势,一、充分利用网络带宽 P2P不通过服务器进行信息交换，无服务器瓶颈，无单点失效，充分利用网络带宽，如BT下载多个文件，可接近实际最大带宽，HTTP及FTP很少有这样的效果 二、提高网络工作效率 结构化P2P有严格拓扑结构，基于DHT，将网络结点、数据对象高效均匀地映射到覆盖网中，路由效率高,三、开发了每个网络结点的潜力 结点资源：计算能力及存储容量 个人计算机并非永久联网，是临时性的动态结点，称为“网络边缘结点” P2P使内容“位于中心”转变为“位于边缘”，计算模式由“服务器集中计
4、算”“分布式协同计算”,四、具有高可扩展性(scalability) 可扩展性衡量，当网络结点总数增加时： 结点负载如何改变 为适应规模扩大而需要增加的额外设备的数量 任意两个网络结点通信效率如何改变，尤其是路由效率 P2P网络中，结点间分摊通信开销，无需增加设备，路由跳数增量小,五、良好的容错性 冗余方法 周期性检测 结点自适应状态维护,P2P网络的各种应用,文件共享：代替ftp，前述典型的P2P模型 多媒体传输：Skype（语音），PPLive（视频） 实时通信：QQ、MSN Messenger、Skype，都支持C/S、P2P模式 协同工作：Groove虚拟办公室 分布式数据存取：广域、
5、海量，CFS、PAST、OceanStore、Granary,分布式计算：GPU，Gnutella全球处理单元，计算任务由对等结点而非服务器分配，SETIHome，U.C. Berkeley搜索外星文明 P2P搜索引擎：第三代搜索引擎技术，离实用有差距 其它,第一代P2P网络,混合式P2P体系：Napster与BT,内容,NapsterP2P网络的先驱 BitTorrent分片优化的新一代混合式P2P网络 第一代P2P网络的特点,Napster：P2P网络的先驱,世界上第一个应用性P2P网络，混合式P2P体系最杰出的代表 1999年波士顿东北大学的Shawn Fanning开发Napster，
6、用于MP3文件交流，与传统的提供音乐下载的网站不同，Napster服务器里无歌曲，仅有其它用户硬盘上的文件的索引 Napster使用的软件技术都是当时已有的，只是改变了软件的应用体系，打破了客户/服务器模式的瓶颈 Napster半年吸引了5000万注册用户，最高时超过6100万用户,一、Napster网络的工作原理,Napster网络由两个部分组成： Napster用户(peer) Napster网站(N)是一个服务器机群 提供统一的用户访问接口 各自保存一部分用户的共享文件索引信息,peer与固定的server相连 加入时，将自身信息（连接带宽、存储空间等）以及共享文件信息发送给server
7、，server记录信息内容及用户位置（文件索引） 查询时，peer将查询消息发给server，server与其它server协作后回复表单（包括所有匹配的文件索引） 下载时，peer直接从索引中选取peer并与之建立连接、下载文件,Napster网站的功能 维护所有用户的共享文件索引 监控系统中每个用户的状态（用户报告的连接带宽、用户连入时间、是否掉线） 删除掉线用户的索引，保证文件索引的时效性 响应用户的查询请求，查询的返回消息中可包含带宽等信息，便于用户选择连接,Napster的性能分析,检测结果与结论 Napster机群包括大约160台服务器 每个用户只与一台服务器建立连接 新用户加入网
8、络时，可以选择是否报告连接带宽，但大多不报告，或者故意误报以减少其他用户从自己下载(自私性) 结点异构性很强，表现在连接带宽、时延、连接时长、共享文件性等方面，如25%64Kbps，50%Cable DSL，20%3M以上；超过50%的连接时间6h的不到10% 用户自私性：20%40%用户几乎从不提供文件共享，仅1%结点为文件提供者,因此，类似Napster的P2P网络在设计、优化时应考虑 结点异构性：让不同能力的结点扮演不同的角色 协同传输:增加并行传输连接数目,避免系统瓶颈. 激励机制:鼓励上传，限制或禁止自私结点使用网络,进一步的发展，BitTorrent： 相同架构，但文件分片，使用散
9、列函数映射 用户有上传义务 网络及用户信息更新、BT种子维护由server中的Tracker完成，下载同一文件的用户围绕Tracker形成独立子网，不同文件的Tracker在不同server上，将server分散化，成为P2P在国内最成功的应用,BitTorrent：分片优化的新一代混合式P2P网络,BT体系原理 BT分片机制 BT阻塞算法 BT性能分析 BT体系总结 P2P下载对硬盘的影响,BT体系原理,BT网络的四个组成部分 BT网站：提供BT种子文件(即.torrent文件)搜索的服务器，每个服务器包含部分种子文件的索引 .torrent文件服务器：小型的种子数据库 Tracker(跟踪
10、服务器)：BT网络和用户信息的维护者，帮助用户交互，下载同一个文件的用户围绕Tracker形成一个独立的子网 BT用户：可同时下载多个文件,BT用户的下载步骤,BT用户通过某个BT网站搜索文件，该网站将搜索请求重定向到网站镜像，后者检索并返回给用户该文件的.torrent文件列表 用户选择列表中的.torrent文件，BT软件启动下载任务，并从Tracker获得当前也在下载该文件的用户信息 BT软件与一定数量的用户建立连接，下载文件并同时提供上传 下载过程中每隔一段时间更新一次连接以保持整网的工作效率,BT分片机制,BT将文件分为固定大小的分片(典型大小256KB)，每个用户必须通知其他下载者
11、自己拥有的分片，分片的完整性由散列函数保证 分片流水作业：构架在TCP之上的应用层协议，同时发送多个请求，以避免在两个分片发送之间的延迟，进一步，分片可以划分为子分片(典型16KB)，BT一直保持几个请求（通常是5个）被流水式地同时发送。流水作业选择同时发送的请求数目的依据，是使大多数连接变得饱和以充分利用带宽,分片选择策略,严格的优先级（一个分片的下载） 一旦请求了某个分片的子分片，那么该分片的所有子分片具有更高优先级，以尽可能快地获得一个完整的分片 最少者优先（中间阶段/平稳期） 尽量选择所知用户拥有数最少的分片作为下一个下载分片，以使网络中最稀少的分片尽快拥有多个复制 下载者从Track
12、er了解哪些分片较少,分片选择策略,随机的第一个片段（文件下载最初阶段） 当最少的分片只有一个用户拥有时，为避免并发冲突，第一个分片先随机选择，完成下载后再切换到“最少者优先”策略 最后阶段模式（文件下载最后阶段） 为加速最后阶段下载，下载者向他所连接的所有用户都发送某分片的子分片请求，一旦某个子分片到了，下载者就会向其他用户发送cancel消息，以避免浪费带宽,BT阻塞算法,BT并不是由Tracker服务器集中分配资源，每个用户自己有责任尽可能地提高自己的下载速率 下载者根据连接用户提供的下载速率给予同等的上传回报(tit-for-tat)；对合作者提供上传服务，对不合作者进行临时阻塞 一个
13、好的阻塞算法应该利用所有可用的资源，为所有下载者提供一致、可靠的下载速率，并适当惩罚只下载而不上传的用户,BT的阻塞算法(choking algorithm) 每隔20秒进行一次轮询：前10秒计算出哪个用户要被阻塞，然后将阻塞状态保持10秒 10秒内足够TCP调整传输速率 最优疏通(optimistic unchoking) 为发现更好的空闲连接，不能只向为自己提供最高下载速率的用户提供上传，而是每隔30秒，重新计算一次哪个连接应该是“最优疏通”,反对冷落(anti-snubbing) 某个下载者可能被所连接的所有用户阻塞，为缓解该问题，当从某个用户那里一个分片也没有得到，下载者认为被对方“冷
14、落”，不再为对方提供上传。“反对冷落”常常会导致多个并发的“最优疏通”，从而更快恢复下载速率 仅仅上传 用户完成下载后，优先选择可从自己得到更高上传速率的用户或刚好被所有人阻塞的用户,BT性能分析,Pouwelse et al., 2004,2005论文 流行性：应用广泛，但BT网站、.torrent文件服务器及Tracker故障率较高，限制了网络规模 可用性：同上，取决于服务器的可用性。实际较低，只有一半的BT网站镜像可正常工作超过2.1天，种子服务器更少 下载性能：当时统计平均速度30KB/s,文件生命周期 该文件的种子生命期，由于服务器故障及用户行为不确定性，差别很大 约17%的用户下载
15、完成后做种时间超过1小时，仅3%用户做种时间超过10小时 污染等级 加入到BT网络中的共享文件的真实性 审查系统(moderation system)，三种角色：需要审查的提交者；不需要审查的提交者；审查者。可逐级提升。,BT体系总结,BT是混合式结构的P2P网络，以BT网站、.torrent文件服务器和Tracker为核心，控制和帮助用户共享文件 下载同一文件的用户围绕Tracker形成一个独立的子网 BT限定用户在下载的同时必须提供上传，既提高了网络效率，又杜绝了P2P网络中的自私结点现象,BT将文件分片，分片又被划分成子分片，子分片流水作业，并在文件下载的不同阶段有不同的分片选择策略以优
16、化性能。这是BT最大的特点，也是它高效的最本质原因 BT基于经济学规律的阻塞算法，优化了网络资源配置，增强了用户间的协作 BT通过对文件和分片生成散列值，保证文件的完整性,BT提供了一定的安全机制，如文件审查、输入验证码 BT服务器故障率高，导致可用性降低，且网络规模受限，文件无持久性保证,第一代P2P网络的特点,拓扑结构 混合式(C/S+P2P) 星型拓扑结构，以服务器为核心 查询与路由 用户向服务器发出查询请求，服务器返回文件索引 用户根据索引与其它用户进行数据传输 路由跳数为O(1)，即常数跳,容错性：取决于服务器的故障概率（实际网络中，由于成本原因，可用性较低） 自适应：靠服务器监控实现自组织与自适应，只要服务器正常工作即可有效维护网络和结点信息 匿名性：一般不提供，但支持 增强机制：BT的文件分片、双向传输、防范攻击,第二代P2P网络,无结构P2P体系 Gnutella、KaZaA、eDonkey、Freenet,Gnutella：纯分布式无结构P2P,Gnutella的历史
