《膨胀珍珠岩项目数据采集分析与知识管理（工程项目组织与管理）》由会员分享，可在线阅读，更多相关《膨胀珍珠岩项目数据采集分析与知识管理（工程项目组织与管理）（19页珍藏版）》请在金锄头文库上搜索。
1、泓域咨询/膨胀珍珠岩项目数据采集分析与知识管理膨胀珍珠岩项目数据采集分析与知识管理一、 时间数据分析方法（一）时间数据时间数据也称时间序列（Timeseries）或动态数据，是按时序排列的一组来自同一现象的观察值。时间序列可按日、月、季度、年等收集，有些呈现很强的季节性，建模时应给予反映。气象、水文、生态环境、经济及社会活动都能观察到周期性时间序列。实际观测并记录的时间序列，实际上是随机过程的样本，即，在产生时间序列的实际过程的每一时点上，人们看到的只是该时点随机变量的样本，并不能观察到母体。时间序列可分为平稳和非平稳序列，还可以分成线性和非线性时间序列。（二）时间序列分析1概述时间序列分析是
2、根据随机过程理论，研究时间序列的统计规律。时间序列分析广泛应用于信息压缩、利用卫星照片识别地球资源、石油勘探、经营管理、预测（气象、水文、地震、地下水位、农作物病虫灾害）、控制（环境污染、生态平衡）（天文学和海洋学）等方面。时间序列预测的基本依据是：（1）客观过程是连续的，有惯性，现在是过去的继续，过去的信息会传递到现在与未来，利用过去的数据或信息能推测未来。（2）偶然因素会影响到客观过程，使其行为与模式有随机性。预测要利用时间序列各时点随机量的相关关系。时间序列的趋势与波动称为“模式”，时间序列分析首要要识别其模式，然后用适当的曲线拟合。拟合模式的各种参数根据按“最优预测”原则估算出的时间序
3、列数字特征（期望值、方差、协方差、自相关函数）等确定。2.时间序列成分时间序列常含有4种成分：趋势、季节变动、规则波动和不规则波动。所谓趋势，是长期持续向上或持续向下的倾向。季节变动，是实际过程受气候、市场状况、节假日或风俗习惯等影响而呈现的周期性波动。规则波动，是周期不等的变动，呈涨落交替之状。波动的周期可能很长，但与趋势不同。不规则波动，是时间序列除去趋势、季节变动和周期波动之后的波动。不规则波动总是夹杂在时间序列中，致使时间序列产生一种波浪形或震荡式的变动。时间序列经常是各种周期成分的叠加，例如地震或人工地震波的记录。这样的序列要做频域分析。频域分析确定时间序列各周期成分称为“谱”或“功
4、率谱”的能量分布形态。频域分析又称谱分析。谱分析的重要内容就是通过序列的周期图（）的极值点寻找各种分量的周期。3时间序列建模时间序列建模一般有如下几个步骤（1）取得时间序列样本。（2）将样本点画成图，进行相关分析。时间序列图形可显示出变化趋势和周期，并发现离群点和转折点。若离群点确实为观测值，建模时应加以考虑，若非，应加以调整。转折点指时间序列趋势突变的点。如果发现转折拐点，则在建模时须分段用不同的模型拟合时间序列，例如用门限回归模型。（3）模式识别与拟合。时间序列模式众多。小样本可用趋势模型、季节模型加上随机误差拟合。对于样本容量（即观测值个数）大于50的平稳时间序列，可用ARMA（自回归移
5、动平均）模型拟合。非平稳时间序列可经差分化为平稳时间序列，再用ARMA模型拟合。（4）预测未来。利用建成的模型预测时间序列未来值。4时间序列常用模型（1）ARMA模型（2）回归模型二、 大数据系统和数据挖掘技术（一）数据挖掘概述1大数据大数据是指超过既往数据库系统规模、传输速度和处理能力，或者既往数据库系统结构无法容纳的数据。大数据常以万亿或EB衡量，且种类多、实时性强，蕴藏的商业价值大。很多现有的新或旧的信息基础设施、工具和技术可用来开发和利用大数据中蕴藏的价值。大数据有各种各样的来源：传感器、气候信息、公开的信息、如杂志、报纸、文章、买卖记录、网络日志、病历、事监控、视频和图像档案，及大型
6、电子商务。大数据是数据挖掘产生与生存发展的土壤。如今数据每五年翻一番，面对前所未有的海量数据，为了从中发现有用的信息必须进行数据挖掘。此外，计算机存储、处理大量数据，以及运算的能力大为增强，为数据挖掘创造了条件，使其成为一门独特的学科和技术。2数据挖掘与数据分析的区别数据挖掘与数据分析的主要区别在于：（1）处理工作量。数据分析的数据量可能并不大，而数据挖掘的数据量极大。（2）制约条件。数据分析是从某些假设出发，建立方程或模型，而数据挖掘不作假设，可以自动建立方程。（3）处理对象。数据分析往往是针对数字型数据，而数据挖掘对象类型繁多，例如图像、声音、文本等。（4）处理结果。数据分析可以解释结果的
7、含义；数据挖掘的结果不易解释，着眼于预测未来，并提出决策建议。想要从数据中发现规律（即认知），往往需将数据分析和数据挖掘结合起来。（二）数据挖掘步骤按挖掘对象，数据挖掘分为数据库与数据仓库挖掘和网络挖掘两种，各自步骤分述如下。1数据库与数据仓库挖掘数据挖掘一般有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘、模式评估和知识表示8个步骤。（1）信息收集。从确定的挖掘对象中提取特征，然后选择合适的收集方法，将收集到的信息存入数据库。对于海量数据，必须选择合适的数据仓库。（2）数据集成。把来源、格式、特点、性质不同的数据按逻辑或物理属性加以编排，以便以后使用。（3）数据规约。多数数据挖掘
8、算法耗时很长，商业数据往往较多，数据挖掘更耗时间。数据规约就是简化已有可用数据集的表示，规约后数量大减，但仍能保持原数据的完整性，对规约数据的挖掘结果，与对规约前数据的挖掘结果相同或几乎相同。（4）数据清理。有些数据不完整（属性缺少属性值）、含噪声（属性值错误），不一致（同一信息有多种表示），需要清理，使其完整、正确、一致后存入数据仓库。（5）数据变换。将数据变换成适合数据挖掘的形式。实数型数据，可将其分层和离散化。（6）数据挖掘。根据数据格式、属性与特点，选择合适的处理工具，例如统计方法、事例推理、决策树、规则推理、模糊集，甚至神经网络，取得有用的信息。（7）模式评估。由行业专家核实数据挖掘
9、结果是否合理、是否可用。（8）知识表示。将数据挖掘得到的信息以可视方式交给用户，或作为新的知识存人知识库，供其他应用程序使用。并非所有的数据挖掘都要走上述的每一步。若只有一个数据源，则可以省略数据集成。数据规约、数据清理、数据变换合称数据预处理。数据挖掘至少60%的费用要花在信息收集阶段，而至少60%以上的精力和时间要花在数据预处理上。数据挖掘是一个反复多次的过程，若一次未满足要求或未得到有用结果，则需回到前面，经过调整后重新开始。2，网络挖掘网络挖掘可分为网络用户行为挖掘与网络信息挖掘。前者基本不在工程咨询人员关心之列。后者可理解为“从WWW中发现和分析有用的信息”。网络信息挖掘是在已知数据
10、样本的基础上，通过归纳学习、机器学习、统计分析等发现挖掘对象间的内在关系与特性，进而在网络中提取用户感兴趣的信息，获得更高层次的知识和规律。网络信息挖掘沿用了Robot，全文检索、人工智能的模式识别、神经网络等技术。现在的搜索引擎使用了这些技术，能够在网页或网站数据库中为用户搜寻有用信息。网络信息挖掘具体步骤如下：（1）确立目标样本。由用户选择目标文本，提取特征信息。（2）提取特征信息。根据目标样本的词频分布，从统计词典中提取挖掘目标的特征向量并计算出相应的权值。（3）网络信息获取。先利用搜索引擎站点选择待采集站点，再利用Robot程序采集静态Web页面，最后获取被访问站点网络数据库中的动态信
11、息，生成WWW资源索引库。（4）信息特征匹配。提取索引库中的源信息特征向量，并与目标样本的特征向量对照，将符合要求的信息交给用户。三、 项目背景分析珍珠岩是一种无机非金属矿物，膨胀珍珠岩是以珍珠岩为原料，经瞬时高温焙烧膨胀而成的一种内部具有蜂窝状多孔结构的白色颗粒材料。膨胀珍珠岩具有重量轻、物理化学性质稳定、隔热、防火、隔音、防水等优点，可与其他材料相混合使用，是一种重要的建筑材料。我国珍珠岩资源储量较为丰富，主要分布在河南、山西、黑龙江、内蒙古、辽宁等地，其中，河南储量占比最大，达到25%以上。我国已开发的规模较大的珍珠岩采矿基地有河南信阳、山西灵丘、朝阳赤峰、黑龙江嫩江等，其中，河南信阳珍
12、珠岩产量占比最大，达到60%以上。我国珍珠岩储量分布地与产地区域集中度较高，有利于膨胀珍珠岩行业发展。膨胀珍珠岩具有多孔特性，抗压性强，耐高温，耐腐蚀，保温防火效果好，可以广泛应用在核电、石化、生物制药、建筑、环保、农林园艺等领域。在需求的拉动下，我国膨胀珍珠岩行业规模不断扩大，生产企业数量不断增多。现阶段，我国膨胀珍珠岩生产企业主要有张家港市华孚实业有限公司、信阳市中山保温建材有限公司、天津英康科技股份有限公司、鄂州市方达冶金铸造材料有限公司、山东沂水县沂蒙珍珠岩厂等。我国膨胀珍珠岩生产企业数量众多，其中大部分企业规模偏小，品牌意识不足，在生产设备、生产技术、管理水平等方面实力较弱，生产过程
13、中能耗高且效率低，造成较大的资源浪费，仅仅依靠工厂位于珍珠岩产地、具有原料来源与价格优势来参与市场竞争，产出的膨胀珍珠岩品种单一、质量参差不齐，导致行业整体同质化发展严重，盈利能力较弱。随着环保政策日益严厉、矿产资源监管力度不断加大，我国膨胀珍珠岩行业中部分落后企业逐步被淘汰出局，剩余企业不断改进生产工艺，采用优质生产设备，在能耗、生产效率等方面不断进步。同时，为应对同质化竞争，部分有实力的企业开始向深加工方向发展，开发附加值较高的膨胀珍珠岩制品。整体来看，我国膨胀珍珠岩行业结构正在不断优化。我国珍珠岩储量较为丰富，且分布较为集中，为膨胀珍珠岩行业发展奠定坚实基础。一直以来，我国膨胀珍珠岩行业
14、以初加工产品生产为主，同质化发展严重，不仅造成行业盈利能力弱，也造成了珍珠岩资源的浪费。在政策的推动下，我国膨胀珍珠岩行业优胜劣汰速度加快，落后企业逐步退出，行业结构得到一定优化，但现阶段依然存在行业集中度低、市场格局分散的发展局面，未来还有较大提升空间。四、 工程咨询信息采集途径调查方法可分为普查与抽样调查两大类，这两类都有文案调查、实地调查、问卷调查、实验调查等几种。选择调查方法要考虑收集信息的能力、调查研究的成本、时间要求、样本控制和人员效应的控制程度。上述各种方法，各有利弊，各有适用范围。文案调查是上述各种调查方法中最简单、最一般和常用的方法，也是其他调查方法的基础。实地调查能够控制调
15、查过程，应用灵活，信息充分，但耗时长、费用多，调查对象易受心理暗示影响，不够客观。问卷调查适应范围广、简单易行、费用较低，得到了大量应用。实验调查最复杂、费用高、应用范围有限，但调查结果可信度较高。（一）文案调查法文案调查法是指对已经存在的各种资料档案，以查阅和归纳的方式进行的市场调查。文案调查法又称二手资料或文献调查。文案资料来源很多，主要有：国际组织和政府机构资料；行业资料；公开出版物；相关企业和行业网站；有关企业的内部资料。（二）问卷调查法这种方法是调查人员以面谈、电话询问、网上填表或邮寄问卷等方式，了解调查对象的行为方式，从而收集信息。问卷调查法是市场调查常用方法，尤其在消费者行为调查
16、中大量应用，其核心工作是设计问卷，实施问卷调查。（三）实地调查法此法是调查人员通过跟踪、记录调查对象的行为取得第一手资料的方法。这种方法是调查人员直接到市场或某些场所（商品展销会、商品博览会、商场等）亲身感受或借助于某些摄录设备和仪器，跟踪、记录调查对象的活动、行为和事物的特点，获取所需信息资料。（四）实验调查法该法是指调查人员在调查过程中，通过改变某些影响调查对象的因素，观察调查对象行为的变化，从而获得消费行为和某些因素之间的内在因果关系。该法主要用于消费行为的调查，企业推出新产品、改变产品外形和包装、调整产品价格、改变广告方式时，都可以用这种方法。五、 网络信息搜索和提取方法（一）概过现在，虽然不能说人类所有文献与
