《大数据技术的挑战和启示分析》由会员分享，可在线阅读，更多相关《大数据技术的挑战和启示分析（2页珍藏版）》请在金锄头文库上搜索。
1、大数据技术的挑战和启示目前，大数据技术的运用仍存在一些困难与挑战，体现在大数据挖掘的四个环节中。首 先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存 真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全 面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标，通常要用到冗余 配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重， 减少存储量，同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异 构、多实体和多空间之间的交互动态性，难
2、以用传统的方法描述与度量,处理的复杂度很大， 需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动 态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。第四是结果的可视化呈现， 使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、 有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行 业中难以通用。大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工 业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技 术产业体系，健全信息安全保障体系，推进信息网络技术
3、广泛运用，是实现四化同步发展的 保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具 有重要意义，我们必须重新认识数据的重要价值。为了开发大数据这一金矿，我们要做的工作还很多。首先，大数据分析需要有大数据的 技术与产品支持。发达国家一些信息技术（T）企业已提前发力，通过加大开发力度和兼并 等多种手段，努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分 析的招牌，既是为了练兵，也是为了获取情报。过分依赖国外的大数据分析技术与平台，难 以回避信息泄密风险。有些日常生活信息看似无关紧要，其实从中也可摸到国家经济和社会 脉搏。因此，我们需要有自主可控的大数
4、据技术与产品。美国政府2012年3月发布大数 据研究与发展倡议，这是继1993年宣布“信息高速公路”之后又一重大科技部署，联邦政 府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距，更需要国家政策支 持。中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视， 对存储数据的利用率也不高。此外，我国一些部门和机构拥有大量数据却不愿与其他部门共 享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应注重公 开信息，应重视数据挖掘。美国联邦政府建立统一数据开放门户网站，为社会提供信息服务 并鼓励挖掘与利用。例如，提供各地天气与航班延误的关系，推动航
5、空公司提升正点率。大数据的挖掘与利用应当有法可依。去年底全国人大通过的加强网络信息保护的决定是 一个好的开始，当前要尽快制定“信息公开法”以适应大数据时代的到来。现在很多机构和企 业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘，又要防止侵犯个体隐私； 既提倡数据共享，又要防止数据被滥用。此外，还需要界定数据挖掘、利用的权限和范围。 大数据系统本身的安全性也是值得特别关注的，要注意技术安全性和管理制度安全性并重, 防止信息被损坏、篡改、泄露或被窃，保护公民和国家的信息安全。大数据时代呼唤创新型人才。盖特纳咨询公司预测大数据将为全球带来440万个IT新 岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万一49 万，缺口 14万一19万人;需要既熟悉本单位需求又了解大数据技术与应用的管理者150万， 这方面的人才缺口更大。中国是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。大数据是新一代信息技术的集中反映，是一个应用驱动性很强的服务领域，是具有无穷 潜力的新兴产业领域；目前，其标准和产业格局尚未形成，这是我国实现跨越式发展的宝贵 机会。我们要从战略上重视大数据的开发利用，将它作为转变经济增长方式的有效抓手，但 要注意科学规划，切忌一哄而上。
