《从并行计算到云计算》由会员分享，可在线阅读，更多相关《从并行计算到云计算（70页珍藏版）》请在金锄头文库上搜索。
1、第一篇从并行计算到云计算第 1 章并行计算与云计算 21.1 并行计算到云计算的演变 21.2 云计算需要定义吗？ 41.3 云计算是否是新瓶装旧酒 51.4 MPI与Hadoop，不同学科学者的选择61.5 云计算与浏览器810第2章MPI并行计算环境的建立2.1 配置前的准备工作102.2挂载NFS文件系统112.3 配置 ssh 实现 MPI 节点间用户的无密码访问122.4 安装 MPICH2122.5 建立并行计算环境时的注意事项14第3章并行计算时代的程序设计方法153.1 最简单的并行程序153.2 获取进程标志和机器名183.3 有消息传递功能的并行程序203.4 Monte
2、Carlo法在并行程序设计中的应用233.5 并行计算中节点间的Reduce 操作. 253.6用MPI的6个基本函数实现Reduce 函数功能283.7 计算与通信的并行303.8 节点间自定义复杂数据结构的传输. 343.9 MPI 与 MySQL 数据库的结合应用373.10 设计 MPI 并行程序时的注意事项41第4章从MPI走向云计算434.1 MPI 没有分布式文件系统支持 434.2 MPI无法应对节点的失效444.3 假如用 MPI 来构建云计算系统. 44 第二篇云计算的关键技术第 5 章 Map/Reduce 是云计算的选择吗 485.1 Map/Reduce 跨越 50
3、年的历史485.2实现Map/Reduce的C语言实例.495.3 采用 MPI 实现并行化的Map/Reduce 功能51第6章Hadoop技术.586.1 Hadoop与 MPI在数据处理上的对比586.2 Hadoop的主从式结构.596.2.1主从式文件系统HDFS 596.2.2主从式计算系统Map/Reduce606.2.3文件分块策略分析616.3 Hadoop文件系统 HDFS 的前辈GFS 646.4构建云文件系统需要解决的关键问题666.5云计算不相信节点服务器676. 6揭密云计算架构下的典型服务器Google服务器686.6.1 Googl服务器概述686.6.2揭开G
4、oogle服务器的神秘面纱696.6.3 Googl服务器的配置情况. 696.6.4 Googl服务器的性能评测. 73第7章Hadoop环境的建立 757.1 Hadoop配置环境757.2配置ssh实现Hadoop结点间用户的无密码访问767.3 JDI的安装配置767.4 Hadoop的安装配置77817.5 Hadoop中的 Hello World7.6 Q吾言程序在Hadoop上运行82第8章动手做自己的云计算V0.01系统868.1系统总体分析868.1.1系统架构868.1.2文件分布式存储流程888.1.3计算与存储的整合流程888.2管理节点程序设计与分析898.2.1管理
5、节点服务器程序主函数90 8.2.2管理节点各线程函数的设计. 938.2.3主服务器中其他函数的设计. 958.3子节点程序分析 988.3.1子节点主函数 998.3.2子节点各线程函数设计. 102& 4客户端API设计1078.4.1客户端文件的存储1088.4.2客户端启动子节点计算. 113 8.4.3客户端应用的简单实例. 114 8.5客户端应用开发实例1 15 第三篇云计算应用实例 第9章基于不可信服务器节点的云计算 基础架构 1189.1云计算基础架构的应用场景1189.2云计算基础架构1209.3基于单向指针目录映射的分层 用户隔离1219.4云文件系统的物理存储管理 1
6、239.5云存储的安全级别划分 1249.6计算和存储的整合 1259.7计算和存储的迁移 1269.8任务的可并行性和分类分析 1279.9简化的服务器级粗粒度计算和 存储资源分配方案. 130 9.10数据的云计算系统之旅133第10章云计算与智能13510.1云计算的智能与人类 智能的比较 13510.2云计算提升终端智能13610.3云计算智能与Monte Carlo 方法13810.4云计算时代不确定性智能算法 示例模拟谐振子算法13810.4.1简谐振动的描述13910.4.2模拟谐振子算法描述14110.4.3模拟谐振子算法流程14410.4.4模拟谐振子算法分析14610.4.
7、5模拟谐振子算法应用于 旅行商问题14910.4.6模拟谐振子算法在连续 和非线性优化问题中的应用16110.4.7模拟谐振子算法的隐含 并行性16210.5云计算中的人工智能162第1 1章云计算企业之间的竞争性分析 16411.1云计算技术流派分析11.1.1存储型数据密集云计算平台 16411.1.2计算型计算密集云计算平台 16511.1.3综合云计算平台11.2国际云计算公司分析11.2.1云计算技术的提出者Google 16611.2.2“端”的霸主微软 16611.2.3蓝色巨人IB M的蓝云.16711.2.4云计算的市场先行者Amazon 公司. 16811.2.5 Sale
8、sfo从eSaaS 走入 云中11.2.6热爱白皮书的Sun11.2.7 EMC云计算的核心是虚拟化17011.2.8渔翁得利的思科11.3国内云计算公司分析11.3.1拥有基础设施的 世纪互联17111.3.2阿里巴巴下决心 入云11.3.3中国移动的BigCloud11.3.4国产旗帜友友云计算 平台11.3.5曙光高性能与云计算11.3.6展览也要云17311.4开源云计算平台分析11.5国际国内云计算平台提供商 对比研究. 17511.6产业综合分析11.6.1云计算与网络设备商的关系168 16917217217317317917911.6.2云计算与移动通讯运营商的关系18011.
9、6.3云计算与服务器提供商的关系18011.6.4云计算与应用程序开发商的关系181后记：未来的计算机不确定性和隐含并行计算182164165165170171174附录：计算力的标准Linpack则试详细指南 186参考文献196 面对云计算，有的人越来越糊涂，经常听到有人用云里雾里来形容现在的云计算。云计算系 统 确实是一个庞大和综合的系统，即使是国际大公司也不敢贸然进军云计算领域，大量的企业 不 是将自己的传统技术优势称为云计算，就是雷声大雨点小的观望。一般开发者更是不适应在 机 群的环境下工作，所以本章将用一个简单的例子来展现云计算的基本特点和技术开发方式， 我 们并不保证这个系统是一
10、个完善的系统，但它具备了云计算的一些基本特点如计算和存储的 整 合、计算向存储的迁移、文件的分布式存储、计算的并行化等，我们对这些功能采用了最简 单 的实现方法以使大多数读者能从中体会到云计算技术的核心理念，所以我们命名这个系统为 云计算V0.01,运行环境为Windows。8.1 系统总体分析 我们进行系统总体结构设计时主要着眼于云计算基本特征的实现，不考虑系统中很多细节性 的要求和高级要求，并采用中等水平的读者能完成的难度设计。 设计需要实现的基本功能如下。（1）向开发云应用的客户提供可以调用的API函数，利用API函数实现对云计算系统的访 问。（2）实现分布式的文件存储。（3）实现计算向
11、存储的迁移，使计算和存储在同一个节点完成，避免数据在网络中的传送。（4）向用户隔离计算的并行性和存储的分布性，用户无需关心系统具体的操作过程。（5）初步实现对数据求和及求最大值的处理，演示云计算的基本特点。读者可以通过增加 处理函数实现更多的计算功能。8.1.1 系统架构 云计算V0.01系统是一个完全模型化的实验用系统，开发和运行环境为Windows系统，通 过对该系统的学习使读者对云计算技术的基本要点有一定的了解,云计算V0.01将云计算设备分为 3个角色：管理节点、子节点和客户端。管理节点和子节点构成了云计算的服务器端，客户端通 过对API的调用实现对云计算系统的访问，并通过API整合为
12、不同的应用程序。为了简化系统 的设计难度，我们在做云计算V0.01时限定所做的计算任务包括对大数据量数组求和、求最大值 等操作，读者可通过实际的系统体会存储的分布化与计算的并行化的关系，并理解计算向存储迁 移的作用。云计算V0.01没有实现存储的副本策略，因此暂时不能处理节点失效的问题，这也 是为了降低系统难度的需要。以下的系统架构方法仅供参考和学习，并且不代表我们赞成这一架 构，不同的读者可以设计不同的系统架构。系统的整个架构如图8.1所示，这种架构方式是一个以客户端为核心的架构方法，系统中的 所有操作指令均由客户端发出，管理节点不和任一子节点作数据和指令的通信，管理节点的作用 主要是维护r
13、oot .da和node.dat两个系统文件。roo t.da文件存储着现在系统中已注册的用户 名及该用户所对应的文件分块描述文件所在节点的IP地址，系统利用这一文件可实现用户的注册、 认证及用户登录后获得文件分块描述文件所在节点的IP地址。node.dat文件则维护着整个云计 算系统所有子节点的IP地址、端、最大空间、剩余空间等信息，客户端通过该文件能够获得整 个机 群的信息，从而实现向各子节点的直接连接。客户端从管理节点获得了相关的系统信息后将 根 据这一信息直接向各个子节点发起连接，完成文件存储及计算的功能，这大大提高了数据传 输 的速率，减轻了管理节点的负荷。各用户文件的具体分块和存储
14、方式被系统用该用户的用户 名(username )作为文件名的文件分块描述文件存储于其中的一个子节点，这一子节点的IP 可在roo t.da文件中找到。图 8.1 云计算 V0.01 的系统结构在云计算 V0.01 系统中不同角色间存在两类数据的传送：一类是命令数据 CMD ，管理节点 和子节点通过命令数据判断自己下一步所要完成的任务；一类是信息数据，这类数据是系统要完 成相关任务所需要数据，如系统描述信息、文件信息等，这类数据的数据量相对较大。由于采 用了计算向存储的迁移策略，系统中出现用户文件数据传输的情况很少，这大大提高了系统的、运行效率。8.1.2文件分布式存储流程系统在进行文件存储时先通过客户端连接管理节点，读取roo t.da文件数据，检验是否有该 用户存在，并获取用户数据块文件所在节点的IP地址。通过读取node.dat文件从管理节点读取 子节点的 IP 地址的列表，根据以上信息完成对数据的分割，启动多线程函数同时连接
