《大数据时代图书馆面临的挑战机遇与对策》由会员分享，可在线阅读，更多相关《大数据时代图书馆面临的挑战机遇与对策（39页珍藏版）》请在金锄头文库上搜索。
1、大数据时代图书馆面临的挑战 机遇与对策赵继海 2012年11月7日义乌 提纲 引言 大数据的由来 大数据的特征 大数据的作用 大数据的挑战 大数据时代图书馆的对策 结束语一、引言 关注、跟踪、研究热点和前沿问题，是把 握未来方向，制定图书馆发展战略与对策 的需要。 当前图书馆的热点和前沿问题：四化一大 ：数字化、移动化、社会化、智能化，大 数据时代来临。 两个案例美国连锁超市Target 案例。为何向17岁女孩 发婴儿尿片和童车的优 惠券？英国零售巨头Tesco （乐购）案例。通过挖 掘分析会员卡用户的购 物数据，对顾客分类， 有针对性地发广告邮件 ， 每年节省 3.5 亿英 镑的广告费用。
2、2011年5月，McKinsey 发布大数据：创新 、竞争和生产力的下 一个前沿的报告， 首次提出了大数据概 念，认为数据已经成 为经济社会发展的重 要推动力。 大数据是2012年IT界的热门话题。今年3月 29日，美国奥巴马政府宣布推出“大数据 研究和发展计划”（ Big Data Research and Development Initiative），有人将其比之为 克林顿政府当年提出的“信息高速公路” 计划 。 该计划涉及美国国家科学基金会、卫生研 究院、能源部、国防部等6个联邦政府部门 ，投资超两亿美元，研发收集、组织和分 析大数据的工具及技术。 美国政府大数据计划的出笼，表明大数据
3、 技术已经上升为国家战略。二、大数据的由来 数字化呈现新的特征，即非结构化的数据 已经成为数字资源的主体。 先来看看传统纸本资源的数字化过程。 到目前为止，中文的纸质图书、期刊 、学位论文等文献类型，已大部完成 数字化转换。报纸、灰色文献正在进 行数字化转换。 英文及其他文种的纸质资源正在进行 大规模数字化。预计在三至五年内， 人类历史上积累的纸质文献资源将基 本上完成扫描和数字化。 每时每刻都在产生大量的原生数字资源（ Born digital resources ）每个用户、每 台终端都在产生信息。据 IDC （国际数据公 司） 统计，2011 年全球所产生的数据总量 是 1.8 ZB（1
4、0 的 21 次方），年增50%。1TB (Trillionbyte ，太字节)=1024GB1PB (Petabyte， 拍字节)=1024TB1EB (Exabyte ， 艾字节)=1024PB 1ZB (Zettabyte ， 泽字节)= 1024 EB =100万PB=10亿TB 各类数字资源在爆炸式增长，尤其是非结 构化的数据（图片、声音、视频、地理位 置信息等等），已经成为信息资源的主体 。这是当前资源数字化的新特征。目前非 结构化数据已占数据总量的80%以上。 图书馆对于文献数据库以外的数字资源的 采集、处理、保存、挖掘和服务，还没有 引起足够的重视。 社交网络、移动互联网、物联
5、网、信息化 应用、各类信息终端、传感器、摄像头等 方面的快速发展，导致数据量剧增，数据 类型多样。 对海量的多样化数据的存储、处理、检索 提出了技术挑战。 数据中蕴藏的巨大商业价值引发了对于数 据处理、分析的巨大需求。 这样催生了大数据的概念与相关技术。三、大数据的特征 大数据的特征可概括为4个V，即海量（ Volume）、多样（Variety）、快速（ Velocity）和价值（Value）。 大数据技术的宗旨就是从海量、多样性的 数据中，快速获得有价值的信息。海量（Volume） 大数据首先是数据量大。遍布世界各个角 落的电脑、传感器、移动设备、在线交易 和社交网络每时每刻都在产生大量数据
6、。 大数据遍及各行各业。企业、机构甚至个 人的活动都在产生和积累大量数据。多样（Variety） 大数据的数据类型非常多。除了图书馆界 熟悉的文献类型外，更多的是网络日志、 视频、声频、图片、地理位置信息、交易 信息、科学数据集等等。除了结构化数据 外，非结构化数据占到了很大比重。目前 非结构化数据已占数据总量的80%以上。随 着非结构化数据的比重越来越大，其中蕴 含着巨大的商业价值和社会价值，对传统 的数据分析处理算法和软件提出了挑战。 快速（Velocity） 处理多样化的海量数据，对速度的要求很 高。对大数据快速处理，才能了解迅速变 化的环境并作出反应，才能快速制定出合 理准确的应对策略
7、。对大数据的快速处理 分析，将为企业实时洞察市场变化、迅速 采取对应措施、把握市场先机提供决策支 持。价值（Value） 价值是大数据的终极意义所在。数据正成 为新型资产，“数据价值化”将成为企业 提高竞争力的下一个关键点。 大数据的价值虽然巨大，价值密度却很低 （如监控视频），往往需要对海量的数据 进行挖掘分析才能得到真正有用的信息， 从而形成用户价值。大数据将是下一个社会发展阶段的 “石油”和“金矿”。无论是个人、企 业还是国家，谁能更好地抓住数据、理 解数据、分析数据，谁就能在下一波的 社会竞争中脱颖而出。关于数据的知识 ，将成为个人知识结构中的必备要素和 基础。 施伯乐（复旦大学计算机
8、研究所所 长） 四、大数据的作用 大数据将对技术、经济和社会的发展带来 重大影响。 第一，对大数据的处理分析正成为新一代 信息技术融合应用的结点。移动互联网、 物联网、社交网络、数字家庭、电子商务 等是新一代信息技术的应用形态，这些应 用不断产生大数据。云计算为这些海量、 多样化的大数据提供存储和运算平台。通 过对不同来源数据的管理、处理、分析与 优化，将结果反馈到上述应用中，将创造 出巨大的经济和社会价值。 大数据具有催生社会变革的能量。但释放 这种能量，需要严谨的数据治理、富有洞 见的数据分析和激发管理创新的环境。 Ramayya Krishnan（卡内基梅隆大学 海因兹学院院长） 第二，
9、大数据是信息产业持续高速增长的 新引擎。面向大数据市场的新技术、新产 品、新服务、新业态会不断涌现。在硬件 与集成设备领域，大数据将对芯片、存储 产业产生重要影响，还将催生一体化数据 存储处理服务器、内存计算等市场。在软 件与服务领域，大数据将引发数据快速处 理分析、数据挖掘技术和软件产品的发展 。 第三，大数据利用将成为提高核心竞争力 的关键因素。各行各业的决策正在从“业 务驱动” 转变“数据驱动”。 对大数据的分析可以使零售商实时掌握市 场动态并迅速做出应对；可以为商家制定 更加精准有效的营销策略提供决策支持； 可以帮助企业为消费者提供更加及时和个 性化的服务；在医疗领域，可提高诊断准 确
10、性和药物有效性；在公共事业领域，大 数据也开始发挥促进经济发展、维护社会 稳定等方面的重要作用。 第四，大数据时代科学研究的方法手段将 发生重大改变。例如，抽样调查是社会科 学的基本研究方法。在大数据时代，可通 过实时监测、跟踪研究对象在互联网上产 生的海量行为数据，进行挖掘分析，揭示 出规律性的东西，提出研究结论和对策。 大数据对图书馆的影响几何？如何应对大 数据时代的机遇与挑战？五、大数据的挑战 一是数据挖掘、数据分析与数据管理人才 紧缺。 二是用户隐私保护难度加大。大数据时代 消费者可获得更低的价格、更符合需要的 商品和服务，但随着个人身份信息、购买 偏好、健康和财务情况等数据被收集，个
11、 人隐私的泄漏和滥用的可能性在增大。 随着移动互联、社交网络、物联网、电子 商务等的迅速发展，人们在互联网以及物 理空间上的行为轨迹、检索阅读、言论交 流、购物经历等等都可能被捕捉到。 “数字化生存” “透明化生存 ” 三是数据安全、知识产权、商业利益、公 共安全受损的威胁增大。大数据的发展， 信息开放度加大，新的信息采集、数据分 析、数据挖掘技术以及海量数据存储技术 和设备将不断涌现，云计算将更加普及。 带来的副作用是IT基础架构将变得越来越 一体化和外向型，对数据安全和知识产权 、商业利益甚至公共安全构成较大的风险 。六、大数据时代图书馆的对策 第一，更加关注特色资源建设。不同图书 馆数字
12、馆藏趋向于同质化。在大数据时代 ，围绕特色优势学科进行专题数据采集， 建立特色数据库并实时更新数据变得十分 重要。 第二，引进、研发与消化应用数据挖掘、 分析和发现工具，加强数字资源的整合、 分析和挖掘，提供高质量的信息服务。 第三，加强用户研究与交互数据的利用。 基于对用户数据的分析，提升个性化服务 的水平，开展跟踪服务、精准服务、知识 关联服务、宣传推广服务。 面对快速增长的数据和复杂的网络社群关 系，从中提取有价值信息，建立用户模型 ，针对不同用户提供针对性产品，改进用 户体验，提高服务质量。 第四，关注和融入社交网站，扩大图书馆 的受众面，实时了解读者的需求，提升和 扩展图书馆在读者个
13、人文化生活中的作用 和影响。 2011年底，腾讯QQ活跃帐户数达到7.21亿 ，“QQ空间”活跃帐户数达到5.521亿。 社交网站吸引了大量用户，图书馆服务需 要融入社交网站。 第五，努力增加数字图书馆网站和服务项 目对用户粘性，节省用户时间，提高服务 质量，提升服务价值。 从三方面提升图书馆的服务价值：为用户 提供高质量的信息资源；帮助用户快速找 到并获取所需要的资源；持续不断地跟踪 并推送用户关注的信息。海量数据（数字资源+用户交互数据+位置 信息等等）+实时数据分析挖掘和知识发现 工具+个性化精准服务=提升图书馆服务质 量和效率 第六，在数据共享、数据公开的大趋势下 ，要切实保护用户隐私，尊重与保护他人 的知识产权，争取大数据时代图书馆的服 务权益与自身知识产权保护。七、结束语 大数据时代，互联网将从网页相联走向“ 数据相联”和“知识相联”。 大数据技术应用将是未来图书馆服务创新 的重要领域，图书馆界应关注和研究相关 技术与应用的发展，采取应对策略，提升 图书馆管理与服务水平。 20多年来的发展历程表明，信息技术是图 书馆管理、服务发展的第一推动力。图书 馆人一定要跟踪信息技术日新月异的发展 ，研究新技术对图书馆可能的影响和应用 价值，从而提高图书馆在新的技术和社会 环境下的竞争力。39谢谢大家！
