《公寓床工程项目数据采集分析与知识管理（工程项目组织与管理）》由会员分享，可在线阅读，更多相关《公寓床工程项目数据采集分析与知识管理（工程项目组织与管理）（31页珍藏版）》请在金锄头文库上搜索。
1、泓域咨询/公寓床工程项目数据采集分析与知识管理公寓床工程项目数据采集分析与知识管理xx有限公司一、 信息鉴别及必要性（一）信息鉴别数据与信息鉴别，可称信息识别，就是将信息与具有特定属性的“模式”进行比较，进而判断信息的类别或属性。具体而言，就是信息收集或使用者运用已有的知识和经验，在对获取的信息进行初步分析之后，按照一定原则和目的，辨认与甄别信息的真伪、轻重主次、是否完整、是否有用，以及用途大小等。（二）信息鉴别的必要性互联网时代，信息极为丰富，大大开阔了人们的眼界。然而，蜂拥而至，难辨真假的信息掺杂在一起，常常使人们陷入另一种迷茫，甚至成了海量信息的奴隶。过量的信息若不筛选，会使决策者无所适
2、从。现在，互联网上充斥着伪造、篡改缺失、无代表性、误传、以及过时等信息。有些信息背后隐藏着各种政治、经济社会的利益团体正当或不正当的目的和企图。信息识别及时与否决定了决策是否正确而又及时，决定了企业、事业、项目和其他活动的命运。对于工程咨询，信息识别同样十分必要。信息识别并非简单工作，对从事者有很高的要求。决策者固然应高瞻远瞩，但决策的基础是真实、可靠的信息。决定信息识别成败的主要因素有：对服务目标的正确认识及其深刻程度；识别者实事求是的态度和已有的知识、推理与判断能力。二、 信息鉴别常用方法（一）溯源法对到手信息涉及的问题应追根溯源，及时核对。例如，尽量找到现场和掌握第一手资料的人；核对原始
3、资料，并查对主要参考文献；按其中叙述的方法、步骤，重做实验或演算,以便从来源上找到鉴别依据。鉴别和筛选在手信息，判断是否完整、适用与可靠，是咨询人员的重要工作。工程咨询所需信息十分广泛，不可能也不必均由咨询人员鉴别。为了确保信息可靠，应尽可能选用权威机构发布或已鉴定、批准的信息。例如，地质储量选用储量委员会批准的储量报告；地震带的分布用国家地震局的数据；历史数据用国家统计局的数据。一般来说，专业技术力量强的单位提供的信息较可靠。例如，国际金融组织的国际金融信息较可靠；来自从事钢铁、汽车行业研究的机构的钢铁、汽车业信息较可靠。（二）比较法有些信息受主客观条件限制难以溯源，对此，可用比较法，即比较
4、不同人、不同时间和其他方面的材料；对于某一事实，说法、结论是否一致。如果一致，则基本可辨真伪。若否，就需进一步核查。（三）佐证法任何事物都与其他事物有一定联系，并相互制约。找到这些联系和制约因素，便可判断事物的真伪。一般说来，口头材料不如文字材料可靠，文字不如实物可靠。分析信息产生的过程也是寻求信息佐证的办法。1普查数据一般比抽查数据全面、准确。2监测数据，长期比短期全面，监测范围大的数据比监测范围小的数据代表性强；勘探密度大的数据比勘探密度小的数据准确，科学实验和仿真模拟计算的数据比一般推理的数据准确。3核对来源不同，收集方法不同的数据。如卫星图片、航测数据可用地面实测数据验证；了解来的市场
5、需求量与行业协会、主要企业、国家统计局的数据对比。4对比不同时期、不同来源的数据，并适当修正其间的差距。同一对象的数据，在不同国家、不同历史时期，由于范围不同，计算的标准和口径可能有所不同，造成数据之间有很大的差异。在对比这些数据时，必须查明统计口径，否则就会出错。5由专家集体辨别信息是否准确，是否可靠。对于来自不同渠道的信息，可能因角度不同、口径不一、方法各异等而不一致，甚至矛盾。这时，可请专家集体讨论，弄清差异和矛盾的原因，去伪存真，取得一致意见。（四）逻辑法鉴别信息，逻辑判断必不可少。不经缜密的逻辑思考容易出错。有些基本差错，例如语言或文字的前后矛盾，夸大其词，有悖情理，以及某些虚构，禁
6、不起逻辑的推敲。当然，逻辑合理并不总能证明事物为真，从虚假的前提出发，经过合理的逻辑推断得出的结果不会真实。因此，鉴别信息，既要充分利用经验、认识和判断力，也要借助其他手段。三、 数据分析与挖掘概述（一）信息分析信息分析是根据咨询问题的具体需要，对与之有关的信息进行整理、鉴别、评价、分析和综合，以便取得咨询所需新信息的过程。信息分析有如下几种用途：1跟踪。所谓跟踪，就是及时了解各领域新动向、新发展，从而发现问题、提出问题。2比较。比较各种事物的内部矛盾之后，把握事物间的联系，认识事物的本质，从而提出问题、确定目标、拟定方案并作出选择。3预测。利用已掌握的信息、知识和手段，推断事物的未来或未知方
7、面。4评价。进行评价时应选择合适的变量和评价指标，应当考虑评价对象之间的可比性。信息分析所用方法，可分为定性和定量分析两种。定性方法主要靠逻辑推理；而定量方法涉及数据间的数量关系，要建立数学模型，计算、求解。如今，信息越来越复杂，定性与定量分析已无法单独奏效，只能越来越多地结合起来。（二）数据分析数据分析是信息分析的一部分，数据分析是对收集数据进行系统的分析，建立适当的模型，揭示数据中隐含的技术、经济、社会和其他关系，以及发展趋势，为有关的咨询活动提交的有用的数字、信息或建议。数据分析的对象可分为时间序列和截面数据。如企业历年的咨询收入、利润总额等就是时间序列。截面数据是在同一时间的数据，如企
8、业同一年咨询业务数目、营业额、费用、收入、人工耗费等。两种数据都要注意样本容量大小。对于截面数据，常用线性或非线性回归模型体现数据之间的各种关系。数据分析属定量分析，包括数据统计分析、时间数据分析、空间数据分析。（三）数据挖掘数据挖掘就是从数据中挖掘出隐含、先前未知、有潜在用途，最终可为人理解的关系、模式、趋势和其他有用信息，并建立模型，用于预测、判断或决策，帮助企业更好地适应变化并做出更明智的决策的过程。数据挖掘广泛应用于制造、金融、零售、保健、中医药及电信等行业的客户关系管理、风险防范、供应链管理、竞争优势分析、部门分析等领域。数据挖掘要用到统计分析、人工智能、数据库和神经网络等方面的知识
9、，如记忆推理、聚类分析、关联分析、决策树、神经网络、基因算法等。数据挖掘需要用户参与，并非某种单一工具、技术或软件即可独自完成。另一方面，并非所有信息查询都可视为数据挖掘。例如，使用数据库管理系统查找个别记录，或用搜索引擎查找互联网特定的网页，属于信息检索，不能视为数据挖掘。当然，数据挖掘技术也有强大的信息检索能力。四、 大数据系统和数据挖掘技术（一）数据挖掘概述1大数据大数据是指超过既往数据库系统规模、传输速度和处理能力，或者既往数据库系统结构无法容纳的数据。大数据常以万亿或EB衡量，且种类多、实时性强，蕴藏的商业价值大。很多现有的新或旧的信息基础设施、工具和技术可用来开发和利用大数据中蕴藏
10、的价值。大数据有各种各样的来源：传感器、气候信息、公开的信息、如杂志、报纸、文章、买卖记录、网络日志、病历、事监控、视频和图像档案，及大型电子商务。大数据是数据挖掘产生与生存发展的土壤。如今数据每五年翻一番，面对前所未有的海量数据，为了从中发现有用的信息必须进行数据挖掘。此外，计算机存储、处理大量数据，以及运算的能力大为增强，为数据挖掘创造了条件，使其成为一门独特的学科和技术。2数据挖掘与数据分析的区别数据挖掘与数据分析的主要区别在于：（1）处理工作量。数据分析的数据量可能并不大，而数据挖掘的数据量极大。（2）制约条件。数据分析是从某些假设出发，建立方程或模型，而数据挖掘不作假设，可以自动建立
11、方程。（3）处理对象。数据分析往往是针对数字型数据，而数据挖掘对象类型繁多，例如图像、声音、文本等。（4）处理结果。数据分析可以解释结果的含义；数据挖掘的结果不易解释，着眼于预测未来，并提出决策建议。想要从数据中发现规律（即认知），往往需将数据分析和数据挖掘结合起来。（二）数据挖掘步骤按挖掘对象，数据挖掘分为数据库与数据仓库挖掘和网络挖掘两种，各自步骤分述如下。1数据库与数据仓库挖掘数据挖掘一般有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘、模式评估和知识表示8个步骤。（1）信息收集。从确定的挖掘对象中提取特征，然后选择合适的收集方法，将收集到的信息存入数据库。对于海量数据，必须
12、选择合适的数据仓库。（2）数据集成。把来源、格式、特点、性质不同的数据按逻辑或物理属性加以编排，以便以后使用。（3）数据规约。多数数据挖掘算法耗时很长，商业数据往往较多，数据挖掘更耗时间。数据规约就是简化已有可用数据集的表示，规约后数量大减，但仍能保持原数据的完整性，对规约数据的挖掘结果，与对规约前数据的挖掘结果相同或几乎相同。（4）数据清理。有些数据不完整（属性缺少属性值）、含噪声（属性值错误），不一致（同一信息有多种表示），需要清理，使其完整、正确、一致后存入数据仓库。（5）数据变换。将数据变换成适合数据挖掘的形式。实数型数据，可将其分层和离散化。（6）数据挖掘。根据数据格式、属性与特点，
13、选择合适的处理工具，例如统计方法、事例推理、决策树、规则推理、模糊集，甚至神经网络，取得有用的信息。（7）模式评估。由行业专家核实数据挖掘结果是否合理、是否可用。（8）知识表示。将数据挖掘得到的信息以可视方式交给用户，或作为新的知识存人知识库，供其他应用程序使用。并非所有的数据挖掘都要走上述的每一步。若只有一个数据源，则可以省略数据集成。数据规约、数据清理、数据变换合称数据预处理。数据挖掘至少60%的费用要花在信息收集阶段，而至少60%以上的精力和时间要花在数据预处理上。数据挖掘是一个反复多次的过程，若一次未满足要求或未得到有用结果，则需回到前面，经过调整后重新开始。2，网络挖掘网络挖掘可分为
14、网络用户行为挖掘与网络信息挖掘。前者基本不在工程咨询人员关心之列。后者可理解为“从WWW中发现和分析有用的信息”。网络信息挖掘是在已知数据样本的基础上，通过归纳学习、机器学习、统计分析等发现挖掘对象间的内在关系与特性，进而在网络中提取用户感兴趣的信息，获得更高层次的知识和规律。网络信息挖掘沿用了Robot，全文检索、人工智能的模式识别、神经网络等技术。现在的搜索引擎使用了这些技术，能够在网页或网站数据库中为用户搜寻有用信息。网络信息挖掘具体步骤如下：（1）确立目标样本。由用户选择目标文本，提取特征信息。（2）提取特征信息。根据目标样本的词频分布，从统计词典中提取挖掘目标的特征向量并计算出相应的
15、权值。（3）网络信息获取。先利用搜索引擎站点选择待采集站点，再利用Robot程序采集静态Web页面，最后获取被访问站点网络数据库中的动态信息，生成WWW资源索引库。（4）信息特征匹配。提取索引库中的源信息特征向量，并与目标样本的特征向量对照，将符合要求的信息交给用户。五、 层次分析法概述及优缺点（一）层次分析法概述层次分析法（简称AHP）是美国匹茨堡大学运筹学家T.L.satty教授于20世纪70年代初，在为美国国防部研究“应急计划”时，应用网络系统理论和多目标综合评价方法，提出的一种层次权重决策分析方法。该方法将决策问题的有关元素分解成目标、准则、方案等层次，在此基础上进行定性分析和定量分析的一种决策方法。这一方法的特点，是在对复杂决策问题的本质影响因素及其内在关系等进行深人分析之后，构建一个层次结构模型，然后利用较少的定量信息，把决策的思维过程数学化，从而为求解多准则或无结构特性的复杂决策问题提供一种简便的综合决策分析方法。层次分析法的应用范围十分广泛，应用的领域包括：经济与计划；能源政策与资源分配；政治问题及冲突；人力资源管理；教育发展；医疗卫生；环境工程；军事指挥与武器评价；企业管理与生产经营决策；项目评价；规划咨询；资源环境承载力评价等。层次分析法优缺点1层次分析法的优点（1）系统性的分析方法层次分析法把研究对象作为一个
