《“大数据”的摩尔定律》由会员分享，可在线阅读，更多相关《“大数据”的摩尔定律（3页珍藏版）》请在金锄头文库上搜索。
1、河南省瑞光印务股份有限公司提供“大数据”的摩尔定律测试和测量应用中，工程师和科学家们每一天每一秒都可收集到大量的数据。欧洲核子研究中心的大型强子对撞机每运行一秒钟，就可以产生40兆兆字节 (1E12)的数据。波音喷气引擎每运行30分钟就可产生10兆兆字节的运行信息。一架四引擎巨型喷气式飞机单程飞越大西洋可生成640兆兆字节的数据，将该数字乘以每天飞行的两万五千多架飞机，您就可以得到一个非常庞大的数据。事实上，一个被称之为“大数据”(Big Data)的时代已经来临，人们可能不关心使用什么型号的传感器或者数据采集设备，唯一关心的是如何从这些“大数据”中获取能为他们所用的信息。数据生成量每两年增长
2、一倍这一事实与电子领域的一个著名定律极其相似：摩尔定律。 1965年，Gordon Moore 提出：IC 上可容纳的晶体管数目大约每两年便会增加一倍，这种趋势将持续“至少10年” 。45年之后，摩尔定律仍在影响着整个信息和电子产业。该定律引发的结果之一是，尖端科技产品的成本越来越低，逐步可以为广大民众所接受，而这些最新的技术更加能够帮助工程师和科学家以前所未有的速度捕捉、分析和存储数据。试想一下，1995年全球制造的总硬盘空间仅为20拍字节(1E15)。现在，Google 每天就要处理超过24拍字节的信息。当然，这些数据存储本身的成本也呈指数下降，从 1998年的228美元/千兆字节(1E9
3、)下降到2010年的0.06 美元/千兆字节。如此变化加上摩尔定律引发的技术进步正在不断地加剧海量数据的出现。然而从如此大量的数据中得出精确且有意义的结论是一个日益严峻的挑战，而“大数据”这个词描述的正是这种现象。海量数据为数据分析、搜索、数据整合、报告生成和系统维护带来了新的挑战，必须解决这一挑战才能跟上数据的指数增长步伐。技术调研公司 IDC最近开展了一项关于数字数据的研究，包括测量文件、视频、音乐文件等。该研究预计这些数据每两年增长一倍。 根据 Adam Hadhazy 于2010 年5月在生活科学上发表的文章全球数据超载，需以泽字节为单位中写到：仅仅是2011年就产生了1.8泽字节（1
4、E21字节）的数据。要想了解这个数据量的含义，我们假设：如果全球70亿人口加入微博，并连续不断地转发并评论连续一百年，这样产生的数据为1泽字节，然而仅仅2011年生成的数据就几乎是该数据量的两倍。Shawn Rogers 于2011年9月在信息管理上发表的文章海量数据正在改变商业智能和分析学中提到：应对海量模拟数据挑战需要一个三层解决方案，包括：传感器或执行器、分布式自动化测试节点，以及 IT 基础设施或海量数据分析/挖掘。河南省瑞光印务股份有限公司提供图 1 应对海量模拟数据挑战三层解决方案：传感器或执行器、分布式自动化测试节点，以及 IT 基础设施或海量数据分析 /挖掘从另一个角度来看，小
5、型数据集通常会限制结论和预测的精确度。这就好比一个金矿，你所能知道的不过只是目前所看到的，剩下的金矿都被埋藏在尘土里不得而知，甚至无法估量。倘若要了解整个金矿的价值，就需要继续进行挖掘。数据领域是类似的，首先你要获得足够多的原始数据，然后才是去粗取精，去伪存真，将金矿上的尘土拂去，获得有用的有价值的信息。海量数据有很多个来源。但是，工程师和科学家们最感兴趣的是来自于物理世界的数据。这些数据是捕捉到且经过数字化的模拟数据；因此，它们可以被称为“海量模拟数据” ，其来源可以是振动、RF 信号、温度、压力、声音、图像、光、磁、电压等测量值。在测试和测量领域，人类每天以高达数泽字节的速率进行数据采集。
6、海量模拟数据问题对于自动化测试和分析系统来说是一个日益严峻的挑战。如果是多个待测设备的情况，则需要许多分布式自动化测试节点（DATN ） ，这些节点往往以并联方式连接到计算机网络。由于 DATN 是具有软件驱动程序和图像的高效计算机系统，因此基于远程网络的系统管理工具需要自动进行配置、维护和升级。P 系统具有不断演进的数据运算能力以及数据传输带宽，是一个非常理想的 DATN 的选择方案。更进一步，各大仪器厂商都在 P 台上持续投入，为 P 提供了非常丰富的 I/O 板卡选择。对于一些需要高密度运算的应用，美国NI 公司将 FPGA 以及 P 分布式运算引入到 P 台，大大强化了每一个 DATN
7、 节点的运算能力。不断增长的测试和测量数据量迫使跨国公司需要不断为更多的工程师提供数据访问权。这需要可满足多用户访问需求的网络设备和数据管理系统，进而刺激了根据地域来分布数据和访问权的需求。提供分布式数据访问权的一个日益普及的方法是使用云技术。海量模拟数据应用程序对服务器、存储空间和网络等 IT 设备具有极大的依赖性。此外，管理、组织和分析数据均需要软件。 因此，传统 IT 技术属于用户捕捉数据后整体解决方案的一部分，用于确保动态和静态数据的高效传送、备份以及分析和视觉化。Averna、Virinco、NI 和 OptimalTest 等供应商已提供可帮助管理海量模拟数据解决方案的产品。为了分
8、析和管理来自数百万个文件的数十亿个数据点，工程师和科学家可使用 NI DIAdem 来挖掘、检查和生成相关测量数据的报告。 他们还可以借助 DIAdem 来连接现有IT 解决方案或创建可全局访问的新服务器，以更快速地根据数据做出决策。 对于制造业，Averna 开发的 Proligent 和 Virinco 开发的 WATS 提供了产品质量、测试设备、流程和操河南省瑞光印务股份有限公司提供作的可视化和控制解决方案。Qualcomm 成功利用了 OptimalTest 开发的工具来优化器测试流程，该测试流程每个季度可积累多达4泽字节的数据。 （评估工程,2011年10 月24日） ，并且将可执行测试数据可视化以帮助工程师确定趋势并积极做出决策。随着高速捕捉海量数据成为一种必然趋势且越来越容易实现，工程师将面临的挑战是创建一个将自动化测试与 IT 设备紧密联系的端到端解决方案。这迫使测试和测量系统供应商与IT 供应商携手合作，为自动化测试应用提供集成式和捆绑式解决方案。广大的工程师与科研人员将从中受益，从而更加从容地面对“大数据”所带来的机遇和挑战。
