《高性能网的背景和需求》由会员分享，可在线阅读，更多相关《高性能网的背景和需求（55页珍藏版）》请在金锄头文库上搜索。
1、高性能网的背景和需求 郝卫东人力计算-Human Computingn路易斯.凡.安(Luis Von Ahn)，卡耐基梅隆（ CMU）的研究者，28岁那年，获得麦克阿瑟 (MacArthur)天才奖金，或许大家并不熟悉，但 他的发明机会所有的网站所有的网民都要引用 得到。n2000年还是学生的他在导师的指导下，发明了 验证码(CAPTCHA)使用机制，就是我们在网站 登录时，需要添加的校验码。人力计算-Human Computingn当初的发明初衷，是防止密码被盗用或 者反垃圾邮件（anti-spamming），这项 技术发明后短短五年内，每天就有2亿个 检验码在被使用，十年之后的今天，几
2、乎所有的网站都采用这个技术来校验用 户身份，保证信息安全。n然而Luis Von Ahn并没有在安全认证领域止步 ，一方面将校验码的模式与程序公布在自己的 网站上，供更多的网站使用，另外，Luis进一 步拓展这个发明背后的实际上是一门新的学科 ，叫做“Human Computation”或者“Human- based Computation”。有人称之为“人本计算” 或者“人计算”。n即利用网络的分众性和协同性，可以轻易完成 很多计算机不可能完成的事情。这门学科正是 研究如何把人的这个优势发挥出来，与计算机 互动，达到一个最佳结果。n当所有的人都在思考如果是计算机替代人的时 候，Luis Vo
3、n Ahn却在想利用互联网，利用社 会化的协同工作模式，实现计算机根本不可能 完成的事情，以达成群体智能的效果。例子一n纽约时报创刊与1851年，158年的历史， 作为传统传媒业的需求是简单的，就是想把所 有的报纸电子化，对于电子化出版之后的工作 相对简单，但过往故纸堆上的文字就显得十分 困难，传统OCR的技术不能实现百分之百的准 确，如果如果人工录入的方式，整个工作耗时 耗力不说，一个字一个字的打印录入，校对， 短期内基本上是不可完成的任务。nLuis Von Ahn的校验码2005年已经得到 了广泛的使用，两者之间有什么联系吗 ？Luis给出的解决方案，当时互联网上每 天有2亿个校验码被使
4、用，虽然每个用户 在录入校验码的时候只需要10秒钟，但 如果把这些时间全部利用起来，就是20 亿秒，相当于50多万个小时。nLuis Von Ahn把这些事件利用起来，实现不可 想象的伟大实践。n现在看来，方法很简单，把扫描的纽约时报 通过简单的分词形成片段，然后入库编码， 作为校验码的素材提供给用户，用户每一次填 注校验码的过程就是对文字的一次录入，n通过众多用户的协同，当两个人都对一个图片 给出相同的单词结果时，就认为这个结果就是 正确的。n无数的用户输入的内容整合链接起来，就是一 个完整的数字化的纽约时报。Game With A PurposenLuis Von Ahn的脚步依然没有停止
5、，他利 用人的群体智慧和集体计算的模式，做 了很多开创性的事情。n他最常用的实现模式就是利用SNS的互动 游戏的模式，来实现传统模式识别与计 算科学中。n他的主要应用成果在上 可以体验获得（Game With A Purpose） 。例子二n基于内容的图像识别与搜索中，样本的 标注是一个很繁琐的问题，为了让计算 机识别图片里的内容，必须要用到许多 标注好的图像样本来训练识别核，传统 的方式只能通过人工进行大量的手工标 注。n2006年，Luis推出了一个著名的游戏，叫ESP Game。n这一游戏的玩法其实很简单：进入游戏，网站 会给你随机配一个伙伴，两人同时看一张图， 让你在两分钟内给图片写出
6、关键词，如天空、 鸟、足球、奔跑等等。n如果你们两人写的关键词一样，就可以得分。n通过积分的方式激发用户参与的积极性，网站 每天公布得分最高的游戏者，Luis通知这种方 式收集的关键字超过了5000万。n这个发明已经被谷歌所采用，在谷歌推出的产 品Google Image Labeler中，使用的方式就是 通过游戏互动的方式来实现图像标注，之后用 于谷歌的图片检索引擎。人们在游戏中，已经 为科学与商业过程做出来贡献 例子三n当我们都在考虑云计算的时候，基于人 的互动协同计算其实离我们很近，n每天的校验码的登录填注，n百度知道、百度百科与维基百科的点击阅读 n我们可能都在不知不觉中，贡献了自己
7、的力量 网络背景(1)n考虑一种新的基础设施n它用高性能通信网络把人,计算机,传感器和 数据连在一起,使社会中的各种不同群体,如 研究者,教育工作者,商人和普通消费者从中 受益.n历史上的其它基础设施n电力网n铁路网n电话和电报网n银行网络背景(2)n历史上的其它基础设施的发展经验n每一种基础设施的发展都具有巨大的复杂性n参与的角色复杂:发明家研究者标准化工作者的力量,自 由市场的力量,政府的力量n发展历程的复杂:从局部到全局,不平坦的时间表n整个基础设施上承载能力的分布性n物流配送:本地仓库,地区仓库,国家级仓库等n地区”缓存”n基础设施发展后新鲜事物的出现n新城市:芝加哥城, Urbana
8、-Champaignn新产业:世界级零售中心,世界级航空中心,世界级总部基地电网电站电站电站水坝矿山油井电力网和网格组成对比电力网和网格组成对比电电力网网格 发电 厂 高性能计算中心 发电 机 高性能网络计 算机 电能 数据、内容、知识、信息 水能、风能、火能、 核能等原始能源 数据库、传感器、存储设备 、工业仪 器设备 等资源 输电线 网 广域网、城域网、局域网，光纤网、 无线网 电力调配系统 网格系统软 件和中间件、网络缓 存和 负载 平衡器等硬件 动力电、照明电、家 用电器等电力应用 科学计算、电子商务/政务、信息服务 等网格应用 各种电器 网格终端设备 （PC、手机、数字电视 ） 指数
9、增长的世界n网络 vs. 计算机性能n处理器速度每18个月翻一番n存储密度每12个月翻一番n网络速度每9个月翻一番n1986 to 2000n计算机: x 500n网络: x 340,000n2001 to 2010n计算机: x 60n网络: x 4000引用网格和云计算的用户n虽然计算机的性能有如此惊人的提高，那是不 是所有的计算需求都已经得到满足了呢？遗憾 的是，还远远没有。n计算科学家和工程师n实验科学家n企业n自然环境n教育与培训n国家-政府n世界n消费者Rotating Turbulent Gas Ball Model of the SunNine Day Run on NCSA
10、Origin (128-processors)Generated 2 Terabytes of Data, LCSE Visualized in 3 DaysDave Porter, Paul Woodward, et al., LCSE, Univ of MinnesotaComputational ScientistsExperimental ScientistsRachael Brady, NCSA I-WAY 95Virtual ManufacturingCustomerManufacturing FacilitySupplierDesignerATM NetworkSource: K
11、em Ahlers, CaterpillarCAD/CAM对性能的需求生命科学数字生物学数据密集型科学nLHC（强子对撞机）n瑞典日内瓦欧洲原子能研究中心（CERN）高能粒子物理实验nCMS(紧凑介子螺线管)用于记录最高能量质子对撞事件所产 生的数据nCMS每年将产生PB（1015字节）数量级的试验数据n用于寻找希格斯介子微粒和宇宙中物质的可能起源的研究;一 种新的自然界基本对称(称为超对称)的存在性以及可能发现新 的空间维数.n处理和分析数据的机构n美国NSF网格物理网n美国能源部粒子物理数据网格n欧盟数据网格工程n。LHC ExperimentsThe ConstraintsTaken f
12、rom: LHC Computing Review, CERN/LHCC/2001-004Needed during a year of LHC operationsTape DiskCPU29400 TB9600 TB6.2 * 106 SI95In todays units:60 STK Silos160000 60GB disks150000 800 MHz CPUsWorld Wide Collaboration distributed computing n按需计算或效用计算的商业模式是pay as you use,无须购买,按次使用(租车，对 分布式计算有益，如跨地域租车).IT的
13、技术演变（8）nIT技术演变的挑战n挑战6:电子商务的高成本n企业常常被迫大批量购买信息技术服务,如签订合同购 买能运转3-10年的设备n由于信息技术的不断升级,企业过一段时间仍需购买大 批量的设备n企业为了保证数据中心的可靠性,必须大量购买数据备 份以及物理镜像/冗余设备n应答:按需服务(Service On Demand)n采用开放的网络协议和Web Service标准、云服务标准 ,服务能以尽量小的批量动态的提供给用户,用户可以 按需利用这些虚拟服务IT的技术演变（9）nIT技术演变的挑战n挑战7:电子商务的业务需求n商务比电子更重要n企业要求IT技术更快而低成本的支持商务需求n商务需求:快速响应个性化响应商务流程柔性n应答:按需应用n越来越多的业务流程将成为按需的应用.nCRM(客户关系管理)nERP(企业资源规划)
