人工智能及大数据开发（高端培训）

《人工智能及大数据开发（高端培训）》由会员分享，可在线阅读，更多相关《人工智能及大数据开发（高端培训）（34页珍藏版）》请在金锄头文库上搜索。

1、工程师培训资料 标题 人工智能及大数据开发 高端培训 培训人 xx 内部工程师培训 资料 主要内容 1人工智能简介 1 1AI的定义及研究目标 1 2AI的产生与发展 1 3AI研究中的三大学派 1 4AI的两个不同层次 1 5AI的应用 2大数据简介 2 1大数据的概念 2 2大数据的特点 2 3大数据面临的主要问题 2 4大数据和人工智能的关系 3相关算法基础 3 1基于模拟机制的人工智能算法分类方法 3 2人工智能知识网络系统总结 3 3蒙特卡洛树搜索树算法简介 4编程语言Python简介 4 1认识Python 4 2Python的应用领域 主要内容 4 3Python是人工智能首选语

2、言 5总结 人工智能简介 1 1 1 1AI的定义及其研究目标 人工智能 Artificial Intelligence 英文缩写为AI 它是研究 开发用于模拟 延伸和 扩展人的智能的理论 方法 技术及应用系统的一门新的技术科学 人工智能是计算机科学的一个分支 该领域的研究包括机器人 语言识别 图像识 别 自然语言处理和专家系统等 人类 类智能人工智能研究领领域 语言智能自然语言处理 如Siri 讯飞翻译 逻辑判断机器证明及符号运算 神经控制神经网络 如人机象棋 视觉机器视觉和图像识别 自然观察能力模式识别 多种智能组合人工智能 人工智能简介 1 1 1 2AI的产生与发展 人工智能简介 1

3、1 诞生与早期研究 1950年 图灵发表了一篇划时代的论文 并提出著名的 图灵测试 由艾伦 麦席 森 图灵发明 指测试者与被测试者 一个人和一机器 隔开的情况下 通过一些装置 如键盘 向被测试者随意提问 进行多次测试后 如果有超出30 的测试者不能确定出被测试者是人 还是机器 那么这台机器就通过了测试 并被认为具有人类智能 1956年 达特茅斯会议 AI的诞生 1957年 纽厄尔 肖 J Shaw 和西蒙等人的心理学小组研制了称为逻辑理论机的数 学定理证明程序 1962年 由塞谬尔在IBM704计算机上研制的具有自学习和适应能力的西洋跳棋程序打 败了一个州的冠军 挫折和教训 1958年 西蒙曾

4、预言 十年内 计算机将称为国际冠军 计算机将发现和证明有意义 的数学定理 计算机将能谱写优美的乐曲 计算机将能实现大多数的心理学理论 后两个到目 前为止都未能实现 在博弈方面 塞谬尔的程序与世界冠军比赛时 5局输了4局 在定理证明方面 当时用归结原理证明两个连续函数之和还是连续函数时 推了10万 步 也没有证明出来 人工智能简介 1 1 在神经生理学方面 发现人脑有10 12以上的神经元 用机器从结构上根本无法模拟 在其他方面 人工智能也遇到了不少的困难 因此那段时间 在全世界范围 人工智 能陷入了低谷 以知识为中心的研究 1972年 费根鲍勃开始研究MYCIN专家系统 并于1976年研制成功

5、 它可以协助内科 医生诊断细菌感染疾病并提供最佳处方 1976年 斯坦福大学研制出地质勘探专家系统PROSPECTOR 这一时期同时发展的还有计算机视觉和机器人 自然语言理解和机器翻译翻译等 新的问题 专家系统所存在的知识领域狭窄 缺乏常识性知识 知识获取难 推理方法单一 没 有分布式功能 不能访问现存数据库的问题逐渐暴露出来 第三次AI兴起浪潮 2006年后 大数据的广泛应用使得机器学习迅速发展 并进一步产生了深度学习 2016年3月 AlphaGo对战世界围棋冠军 职业九段选手李世石 并以4 1的总比分获 胜 2017年5月23日至27日在中国嘉兴乌镇进行的三番棋比赛 AlphaGo以总比

6、分3比0战 胜世界排名第一的柯洁 人工智能简介 1 1 1 3AI研究中的三大学派 符号主义义学派联结联结 主义义学派行为为主义义学派 基于符号运算的人 工智能学派 他 们认为 知识可以 用符号来表示 认知可以通过符 号运算来实现 如专家系统 从大脑和神经系 统的生理背景出 发模拟它们的工 作机理和学习方 式 之后 随着模 糊逻辑和进化计 算的逐步成熟 又 形成了 计算智能 主要进行行为主 义的模拟 如 1991年 麻省理 工学院布鲁克教 授研究成功能较 为自由活动的6条 腿机器虫 奠基人 西蒙 CMU 奠基人 明斯基 MIT 奠基人 维纳 MIT 随着研究和应用的深入 人们逐渐意识到 三个学

7、派各有所长 各有所短 如今的人工智能研究是将这三大学派的方法加以相互结合 人工智能简介 1 1 1 4AI的两个不同层次 弱人工智能强人工智能 令机器进行智能的行动 弱人工智 能经常是擅长某一单方面的人工智 能 比如能战胜围 棋世界冠军的人工智 能 但它只会下棋 你问它其他事 情 它就无法处理 另一个典型代表是微软小冰 它不 仅安装在Windows系统的pc上 它 还担任着东方卫视 天气预报 主持人的角色 强人工智能 令机器像人一样思 考 其基本定义为 人类制造出的 具有自主推理和解决一般性问题的 智能程序 此类程序具备知觉和自 我意识 可以完成自我编程和开发 新人工智能的工作 到目前为止 真

8、正意义上的强人工 智能还没有研制出来 并且很可能 在最近几十年都还研制不出来 人工智能简介 1 1 1 5AI的应用 AI在互联网领域 类的应用 人工智能简介 1 1 人工智能对社会经济的影响 新时代下 机器人产业将迎来井喷式的增长 并开始充斥在社会的各个角落 成为推 动社会进步的强大力量 可以预见 未来将会是商业 社会与机器人的联合大接轨 人工智能机器人将会在如下方面改变着人们的生活 1 引领时尚生活的服务机器人 餐厅服务机器人 家庭扫地机器人 达芬奇手术 机器人 助残机器人 2 风靡制造业的工业机器人 比如海尔美的中的六轴串联机器人 负责搬运工作 3 农业机器人 育苗 采摘 蔬果分级练选

9、户外载具 畜产机器人 4 教育机器人 文化领域的助理 5 特种机器人 深入险地 执行特种任务 6 太空机器人 探索宇宙 开启神秘之旅 7 云机器人 云计算与机器人的联合 8 仿生机器人 仿鱼鸟等 9 仿人机器人 对社会的影响 产业变革 人工智能的发展势必形成产业变革 很多商业模式开始重新洗牌 对创业者来说既是机遇也是挑战 人工智能简介 1 1 失业和社会保障问题 人工智能的大规模使用 尤其是机器人的出现 大量 可重复性的工作将被机器人取代 导致很多人失业 贫富差距问题 将会进一步加大 利用人工智能 有钱人将会更有钱 而穷 人因为失去工作变的更穷 地区发展不平衡问题 人工智能属于高科技产业 前期

10、的投入非常大 一旦 大规模市场化 则可以帮助所在地区提高生产效率 这意味着 缺乏人工智能技术的地区 发 展速度会比拥有人工智能地区慢很多 两地发展不平衡的差距将会越来越大 产业结构调整 人工智能时代 人与机器的分工 会促进产业结构的调整 人工智能时代的服务业 服务升级 下岗人员可以从事贴心的关爱型服务 同时提升企业的收益 对个人的影响 失业和社会保障问题 心理层面的问题 人员的自我价值 人类的自我实现 人机协同时代的人类 心理学 大数据简介 2 2 2 1大数据的概念 大数据 big data 指无法在一定时间范围内用常规软件工具进行捕捉 管理和处理 的数据集合 是需要新处理模式才能具有更强的

11、决策力 洞察发现力和流程优化能力的海量 高增长率和多样化的信息资产 主要解决 海量数据的存储和海量数据的分析计算问题 2 2大数据的特点 Volume 大量 截至目前 人类生产的所有印刷材料的数据量是200PB 而历史上全人类总共说过的话的数据 量大约是5EB 当前 典型个人计算机硬盘的容量为TB量 级 而一些大企业的数据量已经接近EB量级 按顺序给出数据存储单位 bit Byte KB MB GB TB PB EB ZB YB BB NB DB 大数据简介 2 2 Velocity 高速 这是大数据区分于传统数据挖掘的最显著特征 根据IDC的 数字宇宙 的报告 预 计到2020年 全球数据使

12、用量将达到35 2ZB 在如此海量的数据面前 处理数据的效率就是企 业的生命 天猫双十一 2017年3分01秒 天猫交易额超过100亿 大数据简介 2 2 Variety 多样 这种类型的多样性也让数据被分为结构化数据和非结构化数据 相对于以往便于存储 的以数据库 文本为主的结构化数据 非结构化数据越来越多 包括网络日志 音频 视频 图 片 地理位置信息等 这些多类型的数据对数据的处理能力提出了更高要求 Value 低价值密度 价值密度的高低与数据总量的大小成反比 比如公安部门的天网监控视频中 每天每一 分钟每一秒都在存储数据 但是公安部门关心 的仅仅是发生交通事故时的那么几分钟的事发 过程的

13、视频内容 大数据简介 2 2 2 3大数据面临的主要问题 大数据时代已经来临 全球数据量正呈指数级的增长 其主要原因如下 1 各种传感器的剧增及互联网产生的各类数据 高清晰度的图像和视频数据 2 自然科学研究产生的数据量剧增 3 企业及商业活动产生的数据量剧增 大数据处理的一般流程包括大数据获取 大数据预处理 大数据存储于管理 大数据 分析与挖掘及大数据可视化 基于大数据处理流程 大数据面临的主要问题为 获取问题 存储问题和管理问题 第一阶段即大数据的获取 存储和管理 其中 大数据获取是指针对海量数据进行智 能化识别 定位 跟踪及采集 大数据存储和管理是指如何将采集到的大规模数据有效地存储 起

14、来 建立相应的存储机制 并进行管理和调用 1 网络爬虫搜索策略 2 图像压缩编码问题 检索问题 挖掘问题和发现问题 第二个阶段是实现信息检索 数据挖掘和知识发现 这也是大数据处理流程的核心 1 特征向量降维 高维的文本特征向量增加了数据处理时间和复杂 大数据简介 2 2 度 需要降维 2 挖掘方法效率和效果 3 模式评价及优化 对挖掘出的模式进行评价 可视化和安全问题 大数据处理的最后阶段即实现数据可视化和确保数据的隐私和安全 面对海量的数据 如何将数据或从数据中挖掘的知识清晰明朗的展现给用户是大数据处理面临的巨大挑战 此 外 如何在分享私人数据的同时 限制用户隐私的泄露 是大数据处理面临的另

15、一个挑战 2 4大数据与人工智能的关系 任何智能的发展 其实都需要一个学习的过程 而近期人工智能之所以能取得突飞猛 进的进展 不能不说是因为这些年来大数据长足发展的结果 正是由于各类感应器和数据采集 技术的发展 我们开始拥有以往难以想象的的海量数据 同时 也开始在某一领域拥有深度 的 细致的数据 而这些 都是训练某一领域 智能 的前提 如果我们把人工智能看成一个嗷嗷待哺拥有无限潜力的婴儿 某一领域专业的海量的 深度的数据就是喂养这个天才的奶粉 奶粉的数量决定了婴儿是否能长大 而奶粉的质量则决 定了婴儿后续的智力发育水平 相关算法基础 3 3 3 1基于模拟机制的人工智能算法分类方法 1 有机机

16、制模拟 基于个体的模拟 模糊计算 模拟人对客观世界认识的不确定性 神经网络 模拟人脑神经元 支持向量机 通过非线性变换将输入空间变换到一个高维空间 然后在这个 新的空间中求取最优分类超平面 免疫计算 借鉴和利用生物免疫系统的信息处理机制而发展的信息处理技术 DNA计算 模拟生物分子DNA结构进行计算的新方法 基于种群的模拟 进化计算 基于生物进化的思想和原理来解决世界问题 群体智能 是一种在自然界生物群体行为的启发下提出的人工智能算法实现 模式 粒群优化 一种基于群体搜索的算法 它建立在模拟鸟群社会的基础上 蚁群算法 是一种源于大自然中生物世界的新的仿生类算法 智能代理模型 多Agent系统 相关算法基础 3 3 2 无机机制模拟 模拟退火 如果说神经网络和进化计算是模拟有机界产生的计算方法 那么 模拟退火是成功模拟无极界自然规律的结晶 自然计算可以描述成所有新兴计算分支的交集的映射集合 量子计算 3 人造机制模拟 粗糙集 作为一种处理不精确 不确定和不完全数据的新的数学计算理论 能够有效的处理各种不确定的信息 禁忌搜索 序数优化 粒度计算 混沌寻优算法 局部搜索算法 分形科学 相关算