《人工智能与大数据开发入门背景知识简介》由会员分享，可在线阅读，更多相关《人工智能与大数据开发入门背景知识简介（33页珍藏版）》请在金锄头文库上搜索。
1、,基本知识入门简介,电子科技大学 学生： 岳清泉 指导老师： 鄢 然 副教授,2018年4月,人工智能及大数据开发,主要内容,1 人工智能简介1.1 AI的定义及研究目标1.2 AI的产生与发展1.3 AI研究中的三大学派1.4 AI的两个不同层次1.5 AI的应用2 大数据简介2.1 大数据的概念2.2 大数据的特点2.3 大数据面临的主要问题2.4 大数据和人工智能的关系3 相关算法基础3.1 基于模拟机制的人工智能算法分类方法3.2 人工智能知识网络系统总结3.3 蒙特卡洛树搜索树算法简介4 编程语言Python简介4.1 认识Python4.2 Python的应用领域,主要内容,4.3
2、 Python是人工智能首选语言5 总结,人工智能简介,1.1 AI的定义及其研究目标人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。,人工智能简介,1.2 AI的产生与发展,人工智能简介,诞生与早期研究1950年，图灵发表了一篇划时代的论文，并提出著名的“图灵测试”：由艾伦麦席森图灵发明，指测试者与被测试者（一个人和一机器）隔开的情况下，通过一些装置（如键盘）向被测试者随意提
3、问。进行多次测试后，如果有超出30%的测试者不能确定出被测试者是人还是机器，那么这台机器就通过了测试，并被认为具有人类智能1956年，达特茅斯会议：AI的诞生1957年，纽厄尔、肖（J.Shaw）和西蒙等人的心理学小组研制了称为逻辑理论机的数学定理证明程序。1962年，由塞谬尔在IBM704计算机上研制的具有自学习和适应能力的西洋跳棋程序打败了一个州的冠军。挫折和教训1958年，西蒙曾预言：十年内，计算机将称为国际冠军；计算机将发现和证明有意义的数学定理；计算机将能谱写优美的乐曲；计算机将能实现大多数的心理学理论。后两个到目前为止都未能实现。在博弈方面，塞谬尔的程序与世界冠军比赛时，5局输了4
4、局在定理证明方面，当时用归结原理证明两个连续函数之和还是连续函数时，推了10万步，也没有证明出来。,人工智能简介,在神经生理学方面，发现人脑有1012以上的神经元，用机器从结构上根本无法模拟在其他方面，人工智能也遇到了不少的困难，因此那段时间，在全世界范围，人工智能陷入了低谷。以知识为中心的研究1972年，费根鲍勃开始研究MYCIN专家系统，并于1976年研制成功，它可以协助内科医生诊断细菌感染疾病并提供最佳处方。1976年，斯坦福大学研制出地质勘探专家系统PROSPECTOR这一时期同时发展的还有计算机视觉和机器人，自然语言理解和机器翻译翻译等新的问题专家系统所存在的知识领域狭窄、缺乏常识性
5、知识、知识获取难、推理方法单一、没有分布式功能、不能访问现存数据库的问题逐渐暴露出来第三次AI兴起浪潮2006年后，大数据的广泛应用使得机器学习迅速发展，并进一步产生了深度学习2016年3月， AlphaGo对战世界围棋冠军、职业九段选手李世石，并以4:1的总比分获胜。2017年5月23日至27日在中国嘉兴乌镇进行的三番棋比赛， AlphaGo以总比分3比0战胜世界排名第一的柯洁。,人工智能简介,1.3 AI研究中的三大学派,随着研究和应用的深入，人们逐渐意识到，三个学派各有所长，各有所短，如今的人工智能研究是将这三大学派的方法加以相互结合。,人工智能简介,1.4 AI的两个不同层次,人工智能
6、简介,1.5 AI的应用,AI在互联网领域类的应用,人工智能简介,人工智能对社会经济的影响新时代下，机器人产业将迎来井喷式的增长，并开始充斥在社会的各个角落，成为推动社会进步的强大力量。可以预见，未来将会是商业、社会与机器人的联合大接轨。人工智能机器人将会在如下方面改变着人们的生活。（1）引领时尚生活的服务机器人：餐厅服务机器人、家庭扫地机器人、达芬奇手术机器人、助残机器人（2）风靡制造业的工业机器人：比如海尔美的中的六轴串联机器人，负责搬运工作（3）农业机器人：育苗、采摘、蔬果分级练选、户外载具、畜产机器人（4）教育机器人，文化领域的助理（5）特种机器人，深入险地，执行特种任务（6）太空机器
7、人，探索宇宙，开启神秘之旅（7）云机器人：云计算与机器人的联合（8）仿生机器人：仿鱼鸟等（9）仿人机器人对社会的影响产业变革：人工智能的发展势必形成产业变革，很多商业模式开始重新洗牌，对创业者来说既是机遇也是挑战,人工智能简介,失业和社会保障问题：人工智能的大规模使用，尤其是机器人的出现，大量可重复性的工作将被机器人取代，导致很多人失业贫富差距问题：将会进一步加大，利用人工智能，有钱人将会更有钱，而穷人因为失去工作变的更穷地区发展不平衡问题：人工智能属于高科技产业，前期的投入非常大，一旦大规模市场化，则可以帮助所在地区提高生产效率，这意味着，缺乏人工智能技术的地区，发展速度会比拥有人工智能地区
8、慢很多，两地发展不平衡的差距将会越来越大产业结构调整：人工智能时代，人与机器的分工，会促进产业结构的调整人工智能时代的服务业：服务升级，下岗人员可以从事贴心的关爱型服务，同时提升企业的收益对个人的影响失业和社会保障问题心理层面的问题：人员的自我价值、人类的自我实现、人机协同时代的人类心理学,大数据简介,2.1 大数据的概念大数据（big data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决，海量数据的存储和海量数据的分析计算问题。 2.2 大数据的特点Volum
9、e（大量）： 截至目前，人类生产的所有印刷材料的数据量是200PB，而历史上全人类总共说过的话的数据量大约是5EB。当前，典型个人计算机硬盘的容量为TB量 级，而一些大企业的数据量已经接近EB量级。 按顺序给出数据存储单位：bit、Byte、KB、MB、 GB、TB、PB、EB、ZB、YB、BB、NB、DB。,大数据简介,Velocity（高速） ：这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。天猫双十一：2017年3分01秒，天猫交易额超过100亿,大数据简介,
10、Variety（多样） ：这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以数据库/文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。Value（低价值密度）： 价值密度的高低与数据总量的大小成反比。 比如公安部门的天网监控视频中，每天每一 分钟每一秒都在存储数据，但是公安部门关心 的仅仅是发生交通事故时的那么几分钟的事发 过程的视频内容。,大数据简介,2.3 大数据面临的主要问题大数据时代已经来临，全球数据量正呈指数级的增长，其主要原因如下：（1）各种传感器的剧增及互联网产生
11、的各类数据、高清晰度的图像和视频数据（2）自然科学研究产生的数据量剧增。（3）企业及商业活动产生的数据量剧增。大数据处理的一般流程包括大数据获取、大数据预处理、大数据存储于管理、大数据分析与挖掘及大数据可视化。基于大数据处理流程，大数据面临的主要问题为：获取问题、存储问题和管理问题第一阶段即大数据的获取、存储和管理。其中，大数据获取是指针对海量数据进行智能化识别、定位、跟踪及采集。大数据存储和管理是指如何将采集到的大规模数据有效地存储起来，建立相应的存储机制，并进行管理和调用。（1）网络爬虫搜索策略（2）图像压缩编码问题检索问题、挖掘问题和发现问题第二个阶段是实现信息检索、数据挖掘和知识发现。
12、这也是大数据处理流程的核心。（1）特征向量降维：高维的文本特征向量增加了数据处理时间和复杂,大数据简介,度，需要降维。（2）挖掘方法效率和效果（3）模式评价及优化：对挖掘出的模式进行评价可视化和安全问题大数据处理的最后阶段即实现数据可视化和确保数据的隐私和安全。面对海量的数据，如何将数据或从数据中挖掘的知识清晰明朗的展现给用户是大数据处理面临的巨大挑战；此外，如何在分享私人数据的同时，限制用户隐私的泄露，是大数据处理面临的另一个挑战。2.4 大数据与人工智能的关系任何智能的发展，其实都需要一个学习的过程。而近期人工智能之所以能取得突飞猛进的进展，不能不说是因为这些年来大数据长足发展的结果。正是
13、由于各类感应器和数据采集技术的发展，我们开始拥有以往难以想象的的海量数据，同时，也开始在某一领域拥有深度的、细致的数据。而这些，都是训练某一领域“智能”的前提。如果我们把人工智能看成一个嗷嗷待哺拥有无限潜力的婴儿，某一领域专业的海量的深度的数据就是喂养这个天才的奶粉。奶粉的数量决定了婴儿是否能长大，而奶粉的质量则决定了婴儿后续的智力发育水平。,相关算法基础,3.1 基于模拟机制的人工智能算法分类方法（1）有机机制模拟基于个体的模拟模糊计算：模拟人对客观世界认识的不确定性神经网络：模拟人脑神经元支持向量机：通过非线性变换将输入空间变换到一个高维空间，然后在这个新的空间中求取最优分类超平面免疫计算
14、：借鉴和利用生物免疫系统的信息处理机制而发展的信息处理技术DNA计算：模拟生物分子DNA结构进行计算的新方法基于种群的模拟进化计算：基于生物进化的思想和原理来解决世界问题群体智能：是一种在自然界生物群体行为的启发下提出的人工智能算法实现模式粒群优化：一种基于群体搜索的算法，它建立在模拟鸟群社会的基础上蚁群算法：是一种源于大自然中生物世界的新的仿生类算法智能代理模型多Agent系统,相关算法基础,（2）无机机制模拟模拟退火：如果说神经网络和进化计算是模拟有机界产生的计算方法，那么模拟退火是成功模拟无极界自然规律的结晶。自然计算可以描述成所有新兴计算分支的交集的映射集合量子计算（3）人造机制模拟粗
15、糙集：作为一种处理不精确、不确定和不完全数据的新的数学计算理论，能够有效的处理各种不确定的信息禁忌搜索序数优化粒度计算混沌寻优算法局部搜索算法分形科学,相关算法基础,3.2 人工智能知识网络系统总结3.2.1 数学基础微积分、线代、概率论、信息论、集合论和图论、博弈论3.2.2 计算机基础计算机原理、程序设计语言（C+,Python,R）、操作系统、分布式系统、算法基础3.2.3 机器学习算法机器学习基础：估计方法、特征方程线性模型：线性回归逻辑回归决策树模型：GBDT支持向量机贝叶斯分类器神经网络：深度学习MLP,CNN,RNN,LSTM,GAN（深度学习介绍见4.6）聚类算法：K均值算法3
16、.2.4 机器学习分类监督学习分类任务、回归任务无监督学习聚类任务迁移学习,相关算法基础,强化学习3.2.5 神经网络语言识别、字符识别手写识别、机器视觉、自然语言处理机器翻译、自动控制、游戏理论和人机对弈（象棋、围棋、德州扑克、星际争霸 ）、数据挖掘3.2.6 机器学习架构加速芯片：CPU、GPU、FPGA、ASICTPU虚拟化：容器Decker分布式结构：Spark库和计算框架：TensorFlow、scikt-learn、Caffe、MXNET、Theano、Torch、Microsoft CNTK可视化解决方案云服务：Amazon ML、Google Cloud ML、Microsof
17、t Azure ML、阿里云ML3.2.7 数据集和竞赛ImageNet、MSCOCC、Kaggle、阿里天池3.2.8 其他相关的人工智能技术知识图谱、统计语言模型、专家系统,相关算法基础,3.3 蒙特卡洛树搜索树算法简介3.3.1 介绍蒙特卡洛树搜索是前里尔大学助理教授Remi Coulom在围棋程序Crazy stone中首先引入的方法。从最直观的角度来看，蒙特卡洛树搜索有一个主要目的：给出一个【游戏状态】并选择【胜率最高的下一步】。事实上，蒙特卡洛树搜索是在完美信息博弈场景中进行决策的算法。简单来说，完美信息博弈是指每个玩家在任意时间点都具有关于之前发生过的所有事件行动的完美信息的博弈
18、。这样的博弈案例有国际象棋、围棋和井子棋。但并不是说每一步行动都已知就意味着可以计算和推断出每一个可能的结果。比如，围棋中合法的可能局面的数量就超过了 10170。3.3.2 基本概念蒙特卡洛树搜索会多次模拟博弈，并尝试根据模拟结果预测最优的移动方案。蒙特卡洛树搜索的主要概念是搜索，即沿着博弈树向下的一组遍历过程。单次遍历的路径会从根节点（当前博弈状态）延伸到没有完全展开的节点，未完全展开的节点表示其子节点至少有一个未访问到。遇到未完全展开的节点时，它的一个未访问子节点将会作为单次模拟的根节点，随后模拟的结果将会反向传播回当前树的根节点并更新博弈树的节点统计数据。一旦搜索受限于时间或者计算力而终止，下一步行动将会基于收集到的统计数据进行决策。在模拟中，行动可以通过rollout策略函数选择蒙特卡罗算法：采样越多，越近似最优解；,
