《化工中间体公司工程项目数据采集分析与知识管理（工程管理）》由会员分享，可在线阅读，更多相关《化工中间体公司工程项目数据采集分析与知识管理（工程管理）（27页珍藏版）》请在金锄头文库上搜索。
1、泓域咨询/化工中间体公司工程项目数据采集分析与知识管理化工中间体公司工程项目数据采集分析与知识管理xxx有限责任公司一、 数据分析与挖掘概述（一）信息分析信息分析是根据咨询问题的具体需要，对与之有关的信息进行整理、鉴别、评价、分析和综合，以便取得咨询所需新信息的过程。信息分析有如下几种用途：1跟踪。所谓跟踪，就是及时了解各领域新动向、新发展，从而发现问题、提出问题。2比较。比较各种事物的内部矛盾之后，把握事物间的联系，认识事物的本质，从而提出问题、确定目标、拟定方案并作出选择。3预测。利用已掌握的信息、知识和手段，推断事物的未来或未知方面。4评价。进行评价时应选择合适的变量和评价指标，应当考虑
2、评价对象之间的可比性。信息分析所用方法，可分为定性和定量分析两种。定性方法主要靠逻辑推理；而定量方法涉及数据间的数量关系，要建立数学模型，计算、求解。如今，信息越来越复杂，定性与定量分析已无法单独奏效，只能越来越多地结合起来。（二）数据分析数据分析是信息分析的一部分，数据分析是对收集数据进行系统的分析，建立适当的模型，揭示数据中隐含的技术、经济、社会和其他关系，以及发展趋势，为有关的咨询活动提交的有用的数字、信息或建议。数据分析的对象可分为时间序列和截面数据。如企业历年的咨询收入、利润总额等就是时间序列。截面数据是在同一时间的数据，如企业同一年咨询业务数目、营业额、费用、收入、人工耗费等。两种
3、数据都要注意样本容量大小。对于截面数据，常用线性或非线性回归模型体现数据之间的各种关系。数据分析属定量分析，包括数据统计分析、时间数据分析、空间数据分析。（三）数据挖掘数据挖掘就是从数据中挖掘出隐含、先前未知、有潜在用途，最终可为人理解的关系、模式、趋势和其他有用信息，并建立模型，用于预测、判断或决策，帮助企业更好地适应变化并做出更明智的决策的过程。数据挖掘广泛应用于制造、金融、零售、保健、中医药及电信等行业的客户关系管理、风险防范、供应链管理、竞争优势分析、部门分析等领域。数据挖掘要用到统计分析、人工智能、数据库和神经网络等方面的知识，如记忆推理、聚类分析、关联分析、决策树、神经网络、基因算
4、法等。数据挖掘需要用户参与，并非某种单一工具、技术或软件即可独自完成。另一方面，并非所有信息查询都可视为数据挖掘。例如，使用数据库管理系统查找个别记录，或用搜索引擎查找互联网特定的网页，属于信息检索，不能视为数据挖掘。当然，数据挖掘技术也有强大的信息检索能力。二、 时间数据分析方法（一）时间数据时间数据也称时间序列（Timeseries）或动态数据，是按时序排列的一组来自同一现象的观察值。时间序列可按日、月、季度、年等收集，有些呈现很强的季节性，建模时应给予反映。气象、水文、生态环境、经济及社会活动都能观察到周期性时间序列。实际观测并记录的时间序列，实际上是随机过程的样本，即，在产生时间序列的
5、实际过程的每一时点上，人们看到的只是该时点随机变量的样本，并不能观察到母体。时间序列可分为平稳和非平稳序列，还可以分成线性和非线性时间序列。（二）时间序列分析1概述时间序列分析是根据随机过程理论，研究时间序列的统计规律。时间序列分析广泛应用于信息压缩、利用卫星照片识别地球资源、石油勘探、经营管理、预测（气象、水文、地震、地下水位、农作物病虫灾害）、控制（环境污染、生态平衡）（天文学和海洋学）等方面。时间序列预测的基本依据是：（1）客观过程是连续的，有惯性，现在是过去的继续，过去的信息会传递到现在与未来，利用过去的数据或信息能推测未来。（2）偶然因素会影响到客观过程，使其行为与模式有随机性。预测
6、要利用时间序列各时点随机量的相关关系。时间序列的趋势与波动称为“模式”，时间序列分析首要要识别其模式，然后用适当的曲线拟合。拟合模式的各种参数根据按“最优预测”原则估算出的时间序列数字特征（期望值、方差、协方差、自相关函数）等确定。2.时间序列成分时间序列常含有4种成分：趋势、季节变动、规则波动和不规则波动。所谓趋势，是长期持续向上或持续向下的倾向。季节变动，是实际过程受气候、市场状况、节假日或风俗习惯等影响而呈现的周期性波动。规则波动，是周期不等的变动，呈涨落交替之状。波动的周期可能很长，但与趋势不同。不规则波动，是时间序列除去趋势、季节变动和周期波动之后的波动。不规则波动总是夹杂在时间序列
7、中，致使时间序列产生一种波浪形或震荡式的变动。时间序列经常是各种周期成分的叠加，例如地震或人工地震波的记录。这样的序列要做频域分析。频域分析确定时间序列各周期成分称为“谱”或“功率谱”的能量分布形态。频域分析又称谱分析。谱分析的重要内容就是通过序列的周期图（）的极值点寻找各种分量的周期。3时间序列建模时间序列建模一般有如下几个步骤（1）取得时间序列样本。（2）将样本点画成图，进行相关分析。时间序列图形可显示出变化趋势和周期，并发现离群点和转折点。若离群点确实为观测值，建模时应加以考虑，若非，应加以调整。转折点指时间序列趋势突变的点。如果发现转折拐点，则在建模时须分段用不同的模型拟合时间序列，例
8、如用门限回归模型。（3）模式识别与拟合。时间序列模式众多。小样本可用趋势模型、季节模型加上随机误差拟合。对于样本容量（即观测值个数）大于50的平稳时间序列，可用ARMA（自回归移动平均）模型拟合。非平稳时间序列可经差分化为平稳时间序列，再用ARMA模型拟合。（4）预测未来。利用建成的模型预测时间序列未来值。4时间序列常用模型（1）ARMA模型（2）回归模型三、 网络信息搜索和提取方法（一）概过现在，虽然不能说人类所有文献与其他信息都上了互联网，但是网上的信息极为丰富，许多都可用于咨询。但是，许多咨询人员还不善于甚至不知道如何从网上快速、安全、有效地获得自己需要的信息和知识。咨询工程师应当知晓网
9、上有何利信息，应掌握从网上获取信息的方法与基本技巧。对于网上的信息，可利用浏览器和搜索引擎获取。浏览器是供用户阅读网页内容的软件；而搜索引擎，指从互联网上搜集信息的特定电脑程序。早期的搜索引擎是收集互联网中服务器的地址，按这些服务器拥有的资源类型将其编成不同的目录，各个目录再逐层分类。搜索引擎则沿着此类层级向下搜索，找到用户想要的信息。这种方式只适用于互联网信息不多的时代。随着互联网上信息的迅猛增长，出现了新式搜索引擎，性能大为改进，能够找到网站每一页的起始地址，随后搜索网上所有超级链接，把代表超级链接的所有词汇放入一个数据库。搜索引擎的功能不再限于搜索，已经添加了电子商务、新闻信息服务、个人
10、免费电子信箱服务等。（二）搜索引擎工作原理搜索引擎有信息搜集、信息整理和接受用户查询三部分，各自工作原理大致如下：1搜集信息：搜索引擎利用称为网络蜘蛛（spider）的自动搜索机器人程序，从少数几个网页开始，将各个网页的超链接连结在一起，只要网页上有适当的超链接，机器人便可以遍历绝大部分网页。2整理信息：这个过程称为“建立索引”。搜索引擎不仅要保存搜集到的信息，还要按照一定规则编排之。这样，搜索引擎无须重新翻查已保存的所有信息，便能迅速找到所要的资料，从而能够大大加快搜索速度。3接受查询：对于每时每刻都会接到的大量用户几乎同时发出的查询请求，搜索引擎按照各个用户的要求检查自己的索引，能在极短时
11、间内找到用户需要的资料，并交给用户。目前，搜索引擎交给用户的主要是网页链接，用户按照这些链接便能找到含有自己所需资料的网页。搜索引擎一般会在这些链接下加一段有关这些网页的摘要，以便用户判断此网页是否含有自己需要的内容。（三）搜索引擎种类现在，搜索引擎有很多种，可以从不同的角度分类。按搜索方法，分全文索引、目录索引、元搜索、垂直搜索、集合式搜索、门户搜索、个性搜索、专家型搜索与免费链接列表等。按搜索对象，分购物、自然语言、新闻、MP3、图片等搜索引擎。按搜索范围，分桌面、地址栏、本地等搜索引擎。按出现的时间，分第三代、第四代搜索引擎等。现在，用的较多的搜索引擎有Google，百度、Yahoo、M
12、SNSearch，Webcrawler，Lycos，CNetSearch，LookSmart等。（四）搜索方法与技巧要想使搜索引擎能在网上快速找到有关咨询的资料，首先要明确查询目的。目的不同，查询策略与方法不同。在明确目的之后，还应了解查询的种类与技巧，学会恰当地使用关键词。搜索方法的选择取决于搜索的内容。不同搜索引擎的复杂条件查询功能和实现方法各有不同，网站中一般都有“帮助”和“说明”解释各自的功能和方法。现在的搜索引擎都有模糊查询功能。当用户输入关键词时，搜索引擎不但交给用户关键词的网址，还发来与关键词意义相近的内容。比如，查找“建筑报”一词时，模糊查询搜索的结果会有“建筑报”“建设报”“
13、建筑时报”等的网址。网址的排列，一般是完全符合关键词在最前边，其次是相近的。模糊查询的结果往往并非用户所需，为了排除不需要的结果，各种搜索引擎也设置了相应的功能。四、 工程咨询信息采集途径调查方法可分为普查与抽样调查两大类，这两类都有文案调查、实地调查、问卷调查、实验调查等几种。选择调查方法要考虑收集信息的能力、调查研究的成本、时间要求、样本控制和人员效应的控制程度。上述各种方法，各有利弊，各有适用范围。文案调查是上述各种调查方法中最简单、最一般和常用的方法，也是其他调查方法的基础。实地调查能够控制调查过程，应用灵活，信息充分，但耗时长、费用多，调查对象易受心理暗示影响，不够客观。问卷调查适应
14、范围广、简单易行、费用较低，得到了大量应用。实验调查最复杂、费用高、应用范围有限，但调查结果可信度较高。（一）文案调查法文案调查法是指对已经存在的各种资料档案，以查阅和归纳的方式进行的市场调查。文案调查法又称二手资料或文献调查。文案资料来源很多，主要有：国际组织和政府机构资料；行业资料；公开出版物；相关企业和行业网站；有关企业的内部资料。（二）问卷调查法这种方法是调查人员以面谈、电话询问、网上填表或邮寄问卷等方式，了解调查对象的行为方式，从而收集信息。问卷调查法是市场调查常用方法，尤其在消费者行为调查中大量应用，其核心工作是设计问卷，实施问卷调查。（三）实地调查法此法是调查人员通过跟踪、记录调
15、查对象的行为取得第一手资料的方法。这种方法是调查人员直接到市场或某些场所（商品展销会、商品博览会、商场等）亲身感受或借助于某些摄录设备和仪器，跟踪、记录调查对象的活动、行为和事物的特点，获取所需信息资料。（四）实验调查法该法是指调查人员在调查过程中，通过改变某些影响调查对象的因素，观察调查对象行为的变化，从而获得消费行为和某些因素之间的内在因果关系。该法主要用于消费行为的调查，企业推出新产品、改变产品外形和包装、调整产品价格、改变广告方式时，都可以用这种方法。五、 工程咨询信息类型及来源（一）信息类型工程咨询需要的信息，量大、面广。为了便于识别、分析、存储与保管，可从不同的角度将其分类。例如，从信息属性、来源、形态、用途、载体，是否随时而变或是否经过加工处理等角度划分。1不同属性的信息工程咨询中常用如下几种属性信息：（1）法律。国家、各级政府颁布的有关投资与工程建设的各种法律、法规、规章等。（2）规划与政策。国家和地方的各种规划（战略、行业），以及财政、税收、货币、投资和产业等方面的政策。（3）标准与规范。国家各部门或专业协会发布的技术经济指标、定额、标准与规范等。（4）自然与资源。调查、统计或其他机构保存或取得的河流、湖泊、沼泽、山脉、森林、植被、矿藏、水文等地理资料，气象、气候等天文资料等。（5）行业统计。全国乃至全
