《西安电子科技大学大数据分析与应用方向常见问题解答》由会员分享，可在线阅读，更多相关《西安电子科技大学大数据分析与应用方向常见问题解答（6页珍藏版）》请在金锄头文库上搜索。
1、西安电子科技大学计算机学院大数据分析与应用方向工程硕士 FAQ1. 大数据的概念？大数据(big data)，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。在总数据量相同的情况下，与个别分析独立的小型数据集（data set）相比，将各个小型数据集合并后进行分析可得出许多额外的信息和数据关系性，可用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定实时交通路况等；这样的用途正是大型数据集盛行的原因。大数据几乎无法使用大多数的数据库管理系统处理，而必须使用“在数十、数百甚至数千台服务器上同时平行
2、运行的软件”。大数据的定义取决于持有数据组的机构之能力，以及其平常用来处理分析数据的软件之能力。大数据必须借由计算机对数据进行统计、比对、解析方能得出客观结果。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括了大科学、RFID 、传感设备网络、天文学、大气学、基因组学、生物学、大社会数据分析、互联网文件处理、制作互联网搜索引擎索引、通信记录明细、军事侦查、社交网络、通勤时间预测、医疗记录、照片图像和图像封存、大规模的电子商务等。2. 大数据几大特点？大数据 4V+1C特点：Volume（海量）：通过各种智能设备产生了大量的数据，PB 级别可谓是常态，笔者接
3、触的一些客户每天处理的数据量都在几十 GB、几百 GB 左右，估计国内大型互联网企业每天的数据量已经接近 TB 级别。Velocity（高速）：大数据要求快速处理，因为有些数据存在时效性。比如电商的数据，假如今天数据的分析结果要等到明天才能得到，那么将会使电商很难做类似补货这样的决策，从而导致这些数据失去了分析的意义。Variety（多样）：大数据一般包括以事务为代表的结构化数据、以网页为代表的半结构化数据和以视频和语音信息为代表的非结构化等多类数据，并且它们的处理和分析方式区别很大。Value（价值）：大数据由于包含了大量信息，其中单独的信息并不具有很高的价值，但是将其进行统计分析以及计算和
4、比较，可以从中发现大量隐藏的有价值的信息。利用这些信息，可以很大程度上提高生产效率。Complexity（复杂）：虽然传统的 BI 已经很复杂了，但是由于前面 4 个 V 的存在，使得针对大数据的处理和分析更艰巨，并且过去那套基于关系型数据库的 BI 开始有点不合时宜了，同时也需要根据不同的业务场景，采取不同的处理方式和工具。共计四个层面：（1） 数据体量巨大。从 TB级别，跃升到 PB级别（1T=1024G;1P=1024T)。（2） 数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。（3） 价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。
5、（4） 处理速度快。1 秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。3. 哪里会产生大数据？文本是最大的野生最常见的大数据源之一。其中包括电子邮件、短信、微博、社交媒体网站的帖子、即时通信、实时会议以及可以转换成文本的录音信息。文本数据是现在结构化程度最低的，也是最大的大数据源。幸运的是，我们在驾驭文本数据、利用文本数据来更好地做商业决策方面已经做了很多工作。时间数据与位置数据的价值也是大数据的主要数据源。随着全球定位系统（GPS） 、个人 GPS 设备、手机的出现，时间和位置的信息一直在增加。从 Foursquare 到 Google Places ，再到 Facebook P
6、laces ，它们提供了大量的服务与应用，可以记录每个人在某个时间点的位置。RFID数据，无线射频标签，即 RFID 标签，是安装在装运托盘或产品外包装上的一种微型标签。RFID 标签上有一个唯一的序列号，这个序列号与 UPC 类似的通用产品标识码不同。换言之，RFID 标签不仅能够识别出托盘上装的是 Model 123 电脑，还能识别出托盘上装运的是独一无二的、特定的一套 Model 123 电脑。另外，如网络日志，传感器网络，社会网络，社会数据（由于数据革命的社会） ，互联网文本和文件；互联网搜索索引；呼叫详细记录，天文学，大气科学，基因组学，生物地球化学，生物，和其他复杂和/或跨学科的科
7、研，军事侦察，医疗记录；摄影档案馆视频档案；和大规模的电子商务等。这些领域都是大数据的数据源，都是今后的研究方向。4. 大数据的应用领域？目前大数据应用较广的行业有：电子商务、能源、医药、零售、互联网企业等等（1） 政府：公共卫生安全防范、灾难预警（2） 医疗机构：建立患者的疾病风险跟踪机制，提升药品的临床使用效果（3） 电商公司：向用户推荐商品和服务（4） 旅游网站：为旅游者提供心仪的旅游路线（5） 企事业单位：提升营销的针对性，降低物流和库存的成本，减少投资的风险等等（6） 制造业：根据用户购买习惯，设计更符合用户需求的产品（7） 公路交通：通过分析车辆位置和速度以及交通情况，给出更好的出
8、行路线等（8） 体育运动：分析运动员的动作和习惯，给出更好的训练计划及战术指导5. 大数据时代来临对社会和生活会造成哪些影响？大数据会给整个社会带来从生活到思维上革命性的变化，如：（1） 企业和政府的管理人员在进行决策的时候，会出现从“经验即决策”到“数据辅助决策”再到“数据即决策”的变化；（2） 人们所接受的服务，将以数字化和个性化的方式呈现，借助 3D打印技术和生物基因工程，零售业和医疗业亦将实现数字化和个性化的服务；（3） 以小规模实验、定性或半定量分析为主要手段的科学分支，如社会学、心理学、管理学等，将会向大规模定量化数据分析转型；（4） 将会出现数据运营商和数据市场，以数据和数据产品
9、为对象，通过加工和交易数据获取商业价值。（5） 生活中的广告不再是铺天盖地的到来，广告商会根据用户的不同需求给不同人推送不同的广告，从而达到更准确更有针对性的推送，人们也不再会被许多不需要的广告所打扰。6. 大数据在企业发展中发挥什么样的作用？大数据技术的发展和广泛的应用，传统的经营策略和决策信息方案将受到严重冲击，大数据将帮助企业精确分析、判断、捕捉瞬息万变的市场信息。传统的商业智能系统中用以分析的数据，一般都是企业自身信息系统中产生的标准化、结构化的运营数据。然而，通常这些数据只占到了企业所能获取的数据中很小的一部分，还存在有大量的非结构化、半结构化数据。从企业战略着眼，信息就是财富，企业
10、如果对这些大数据管理得当，就可以发掘出更为强大可靠的决策信息。因此，企业需要从战略高度更为有效地管理好、利用好大数据，服务于企业发展战略，协助决策者能够做出更明智的决策。7. 大数据时代的行业现状及人才需求情况？当前全球已进入大数据时代，大数据或者相关数据分析解决方案的使用在互联网行业，比如百度、腾讯、淘宝、新浪等公司已经成为标准。而像电信、金融、能源这些传统行业，越来越多的用户开始尝试或者考虑怎么样使用大数据解决方案，来提升自己的业务水平。各大公司都有自己的海量用户数据资料，而这些资料都需要大数据人才对其进行挖掘和探索，发现其中的价值，为公司提出重要的信息，推动公司的发展。在“大数据”时代背
11、景之下，社会各行业急需大量“大数据”新型人才，精通“大数据”的专业人才将成为企业最重要的业务角色， “大数据”从业人员薪酬持续增长，未来大数据技术人才将是新社会形势的时代宠儿。8. 当前大数据人才需求岗位及职责要求？（1）大数据分析师运用算法来解决分析问题，并且从事数据挖掘工作，负责业务数据收集整理分析，对多种数据源进行深度挖掘、深度分析和建模；对各类需求数据进行挖掘、统计建模分析，并提交有效的分析报告，为公司运营决策提供数据支持。（2）大数据系统研发工程师负责分布式系统中间件的开发和改进、参与大数据平台管控系统的研发工作、包括大规模非结构化数据业务模型构建、大数据存储等设计问题、根据客户大数
12、据处理应用和服务要求，编写需求分析报告及技术解决方案。（3）大数据应用开发工程师负责搭建大数据应用平台、开发分析应用程序。收集、了解行业大数据动态。参与公司级大数据产品和应用规划、大数据技术研究、平台架构设计、应用场景设计，协调指导其他部门应用大数据技术。（4）数据可视化工程师具备良好的沟通能力与团队精神，责任心强，拥有优秀的解决问题的能力。建立企业整体数据可视化方案、提升整个团队的数据可视化能力、增强现有数据产品的可视化展现与分析能力。开发基于数据可视化的全新数据产品，为客户商业生态提供数据服务。9. 大数据方向工程硕士报名事宜(1)报考条件：获得国民教育系列大学学士学位或者获得国民教育系列
13、本科毕业证书；较系统的掌握计算机专业基础知识，具有一定的计算机开发或管理等方面的经验和能力。(2)学习年限：攻读工程硕士学位的年限一般 2.55年。(3)学位授予工程硕士研究生在规定学习年限内修满学分，并通过学位论文答辩，符合授予学位条件者，由学校学位评定委员会决定授予工程硕士学位。10. 专业学位和学术学位二者是什么关系？专业学位是现代高等教育发展的产物，它和学术学位处于同一层次，培养规格各有侧重。专业学位和学术学位一起构成现代高等教育学位体系不可缺少的两大组成部分，既相互联系又相互区别。专业学位和学术学位都是建立在共同的学科基础之上的，攻读两类学位者都需要接受共同的学科基础教育，都需要掌握
14、学科基本理论和基础知识与技术。在不同的教育阶段，两类学位获得者进一步深造可以交叉发展。比如：学术硕士学位获得者可以攻读专业博士学位，专业硕士学位获得者也可以攻读学术博士学位。专业学位和学术学位的本质区别在于人才培养目标、知识结构、培养模式及人才质量标准不同。高等教育越成熟，两个体系的划分越明晰。学术学位主要面向学科专业需求、培养在高校和科研机构从事教学和研究的专业人才，其目的重在学术创新，培养具有原创精神和能力的研究型人才。专业学位主要面向经济社会产业部门专业需求，培养各行各业特定职业的专业人才，其目的重在知识、技术的应用能力，培养具有较好职业道德、专业能力和素养的特定社会职业的专门人才，如工
15、程师、医师、教师、律师等。设立学术学位主要是为了满足人的发展的普遍需要和社会基础研究人才的需要，因此，学术学位所表征的主要是学位获得者在相应的学科领域中知识的掌握程度和理论的修养水平，职业能力并不被纳入其重点考虑的范畴。设立专业学位主要是为了满足特定社会职业的专业人才需求，如工程师、医师、教师、律师、会计师等，主要着力于培养受教育者应用型开发性研究与设计能力；专业学位表征的主要是其获得者具备了特定社会职业所要求的专业能力和素养，具备了从业的基本条件,能够运用专业领域已有的理论、知识和技术有效地从事专业工作，合理地解决专业问题。 11. 为什么无学历证书只有学位证？研究生教育分为学历教育和非学历教育两种，学历教育由教育部学生司负责，学生经过脱产学习、考试，通过论文答辩后既有学位证书又有学历证书；非学历教育由国务院学位委员会办公室负责，学生毕业后只有学位证书没有学历证书。专业硕士（单证）不是学历教育，申请人在获得学位后，表明其在学术上已达到硕士学位的学术水平。因此申请人的学历并没有改变，也不能获得硕士研究生毕业证书，其获得的学位证书与全日制研究生获得的学位证完全一样。
