《大数据分析的神经网络方法》由会员分享，可在线阅读，更多相关《大数据分析的神经网络方法（17页珍藏版）》请在金锄头文库上搜索。
1、大数据分析的神经网络方法 章毅 郭泉 王建勇 四川大学计算机学院 摘 要： 大数据蕴含巨大的社会、经济、科学价值,已成为学术界与企业界关注的重点。其关键技术可划分为三大层次:数据平台、分析平台和展示平台,其中分析平台是大数据转化为价值的桥梁。一般来说,大数据拥有体量浩大(volume)、多源异构(variety)、生成快速(velocity)、价值稀疏(value)的“4V”特性,扩大了大数据的价值空间,同时也为大数据的分析技术带来巨大挑战。其中三大挑战比较显著,即多源异构大数据、大量非结构化数据存储、大数据价值稀疏且变化快。其三大核心科学问题为大数据的表达、存储和预测问题。由于传统的数据分析
2、方法难以胜任,发展新的大数据分析方法势在必然。人脑是天然的大数据处理引擎。神经网络是一种模拟人脑大数据分析机制的计算方法,是目前大数据分析中最成功的方法。神经网络的研究主要包括:模拟大脑神经网络结构,构建神经网络结构模型;模拟大脑神经网络的记忆机制,发展学习算法。神经网络的研究历史历经波折。近年来,随着当代计算机计算能力的不断提升,基于神经网络的大数据分析方法取得了巨大成功,尤其是在各应用领域,如语音大数据分析、图像大数据分析、医学大数据分析等,引领了人工智能的发展。Alpha Go 在人机围棋大战中获胜,引起了广泛关注。“大数据+神经网络”已成为驱动创新、推动社会发展和改变人类生产生活方式的
3、一种重要力量。以大数据和神经网络为线索,回顾大数据的基本概念与关键技术,梳理神经网络研究的基本框架,可以发现它们之间默契切合、互相促进的关系。一方面,神经网络具有强大的特征提取与抽象能力,能够整合多源信息,处理异构数据,捕捉变化动态,是大数据实现价值转化的桥梁。另一方面,体量浩大的大数据为神经网络提供了充足的训练样本,使得训练越来越大规模的神经网络成为可能。尽管“大数据+神经网络”在众多应用领域已经取得了突破,但是,仍然存在需要解决的核心科学问题。面向神经网络的研究中,神经网络的结构尚需进一步研究,神经网络的大小依然缺少理论性的指导,神经网络的学习算法仍然存在一些内在的问题。围绕大数据分析的三
4、大核心科学问题,需要研究如何保证在高维空间中稀疏表达仍可维持数据的一致性,如何实现“只存储知识而不存储原始数据”,如何刻画数据的时空关联以实现大数据的预测。因此,仍然需要对该领域持续投入,加强应用研究和理论研究,尤其应进行跨领域的研究,即与人脑的大数据处理相呼应,结合认知科学、神经科学等相关学科的知识,以解决神经网络和大数据应用中的核心科学问题,推动基于神经网络方法的大数据分析研究。关键词： 大数据; 神经网络; 人工智能; 作者简介：章毅(1963),男,IEEE Fellow,教授,博士.研究方向:神经网络;大数据.E-mail:,现任四川大学计算机学院(软件学院)院长、教授、博士生导师,
5、机器智能实验室主任。被评为教育部新世纪优秀人才、四川省有突出贡献优秀专家、四川省学术技术带头人。任IEEE Transactionson Neural Networks and Learning SystemsIEEE Transactionson Cybernetics等顶级学术刊物副主编。章毅教授长期从事神经网络研究,主要研究方向包括:神经网络理论及应用、大数据分析、深度学习、机器智能等。出版英文学术专著 3 部。累计发表学术论文 450 余篇,其中 SCI 论文 230 余篇,IEEE Transactions 系列 50 篇。先后主持国家自然科学基金重点项目“基于认知计算的大数据分析方
6、法”、国家自然科学基金中港合作项目、国家自然科学基金面上项目、国家重点基础研究发展计划(“973”计划)子项、国家高技术研究发展计划(“863”计划)项目和其他省部级项目等。获教育部自然科学一等奖、四川省科技进步一等奖等。此外,章毅教授还担任 IEEE 成都分部主席,创立IEEE 计算智能学会成都分部并任首届主席。担任中国计算机学会成都分部主席、中国计算机学会人工智能与模式识别专委会常委、中国计算机学会专委工作委员会委员、中国计算机学会青年工作委员会常委、中国计算机学会理论计算机专委会委员、中国计算机学会学术工作委员会委员、中国人工智能学会机器学习专委会常委、中国认知科学学会认知计算与人工智能
7、工作委员会委员。创建四川大学机器智能实验室并任实验室主任,担任四川 2011 大数据分析协同创新中心主任、四川省网络大数据认知分析工程实验室主任。收稿日期：2016-12-29基金：国家自然科学基金重点项目资助(61432012;U1435213)Big Data Analysis Using Neural NetworksZHANG Yi GUO Quan WANG Jianyong College of Computer Sci.,Sichuan Univ.; Abstract： Big data contains the high social,economic,and scientif
8、ic value. It has been being spotlighted all around the academia and industry. The key technology can be divide into three levels:the data platform,the analysis platform,and the presentation platform. Among these,analysis platform is the bridge that transforms big data into real value. Generally,ther
9、e are four specific attributes of big data,known as the volume,variety,velocity,and value. They extend the value space of big data. Meanwhile,they become great challenges of big data analysis. There are three major issues:Multi-sourced and heterogeneous big data,storage of tremendous unstructured da
10、ta,and sparse value in fast changing big data. The three central scientific problems in big data analysis are representation,storage,andprediction of big data. Traditional methods cannot handle big data well. New methods for big data are imperative. Human brains are naturally excellent big data proc
11、essor. Neural networks are computational replications of big data analysis principles in human brains. Neural networks are the most successful methods for big data analysis. Simulating neural structure in the brain to build neural network structure models and simulating memory mechanism in the brain
12、 to develop learning algorithms are two basic methodology in neural networks research. The history of neural networks research has ups and downs. Today,with the support from developing computational power,big data analysis using neural networks has achieved great success,especially in big data appli
13、cations,for example,audio big data analysis,visual big data analysis,medical big data analysis. Neural networks are leading the artificial-intelligence researches. AlphaG o beating human champion in Go game attracted even more public interest.“Big data + Neural Networks”is becoming one of the drivin
14、g forces of innovation,social promotion,and living development. It can be clearly demonstrated how perfectly matched and mutually reinforcing are big data and neural networks by reviewing the basic concepts and key technology in big data as well as inducing the research framework of neural networks.
15、 On the one hand,neural networks are capable for extracting abstract features from raw data. They can combine multiple information sources,process heterogeneous data,and capture dynamic change in data. They are the bridge to implementation of big data value transformation. On the other hand,large vo
16、lume of big data provide tremendous training samples which enable the training of neural networks with large number of parameters. However,there are still some problems in the “big data + neural networks”pattern. In the aspect of neural networks research,the structure is needing further investigation and development; the scale of network is lacking theoretical guideline; and the learning algorithm is having some inherent problem. In the aspect of big data ther
