《页岩砖工程项目数据采集分析与知识管理（工程项目组织与管理）》由会员分享，可在线阅读，更多相关《页岩砖工程项目数据采集分析与知识管理（工程项目组织与管理）（24页珍藏版）》请在金锄头文库上搜索。
1、泓域咨询/页岩砖工程项目数据采集分析与知识管理页岩砖工程项目数据采集分析与知识管理xx集团有限公司一、 大数据系统和数据挖掘技术（一）数据挖掘概述1大数据大数据是指超过既往数据库系统规模、传输速度和处理能力，或者既往数据库系统结构无法容纳的数据。大数据常以万亿或EB衡量，且种类多、实时性强，蕴藏的商业价值大。很多现有的新或旧的信息基础设施、工具和技术可用来开发和利用大数据中蕴藏的价值。大数据有各种各样的来源：传感器、气候信息、公开的信息、如杂志、报纸、文章、买卖记录、网络日志、病历、事监控、视频和图像档案，及大型电子商务。大数据是数据挖掘产生与生存发展的土壤。如今数据每五年翻一番，面对前所未有
2、的海量数据，为了从中发现有用的信息必须进行数据挖掘。此外，计算机存储、处理大量数据，以及运算的能力大为增强，为数据挖掘创造了条件，使其成为一门独特的学科和技术。2数据挖掘与数据分析的区别数据挖掘与数据分析的主要区别在于：（1）处理工作量。数据分析的数据量可能并不大，而数据挖掘的数据量极大。（2）制约条件。数据分析是从某些假设出发，建立方程或模型，而数据挖掘不作假设，可以自动建立方程。（3）处理对象。数据分析往往是针对数字型数据，而数据挖掘对象类型繁多，例如图像、声音、文本等。（4）处理结果。数据分析可以解释结果的含义；数据挖掘的结果不易解释，着眼于预测未来，并提出决策建议。想要从数据中发现规律
3、（即认知），往往需将数据分析和数据挖掘结合起来。（二）数据挖掘步骤按挖掘对象，数据挖掘分为数据库与数据仓库挖掘和网络挖掘两种，各自步骤分述如下。1数据库与数据仓库挖掘数据挖掘一般有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘、模式评估和知识表示8个步骤。（1）信息收集。从确定的挖掘对象中提取特征，然后选择合适的收集方法，将收集到的信息存入数据库。对于海量数据，必须选择合适的数据仓库。（2）数据集成。把来源、格式、特点、性质不同的数据按逻辑或物理属性加以编排，以便以后使用。（3）数据规约。多数数据挖掘算法耗时很长，商业数据往往较多，数据挖掘更耗时间。数据规约就是简化已有可用数据集的
4、表示，规约后数量大减，但仍能保持原数据的完整性，对规约数据的挖掘结果，与对规约前数据的挖掘结果相同或几乎相同。（4）数据清理。有些数据不完整（属性缺少属性值）、含噪声（属性值错误），不一致（同一信息有多种表示），需要清理，使其完整、正确、一致后存入数据仓库。（5）数据变换。将数据变换成适合数据挖掘的形式。实数型数据，可将其分层和离散化。（6）数据挖掘。根据数据格式、属性与特点，选择合适的处理工具，例如统计方法、事例推理、决策树、规则推理、模糊集，甚至神经网络，取得有用的信息。（7）模式评估。由行业专家核实数据挖掘结果是否合理、是否可用。（8）知识表示。将数据挖掘得到的信息以可视方式交给用户，或
5、作为新的知识存人知识库，供其他应用程序使用。并非所有的数据挖掘都要走上述的每一步。若只有一个数据源，则可以省略数据集成。数据规约、数据清理、数据变换合称数据预处理。数据挖掘至少60%的费用要花在信息收集阶段，而至少60%以上的精力和时间要花在数据预处理上。数据挖掘是一个反复多次的过程，若一次未满足要求或未得到有用结果，则需回到前面，经过调整后重新开始。2，网络挖掘网络挖掘可分为网络用户行为挖掘与网络信息挖掘。前者基本不在工程咨询人员关心之列。后者可理解为“从WWW中发现和分析有用的信息”。网络信息挖掘是在已知数据样本的基础上，通过归纳学习、机器学习、统计分析等发现挖掘对象间的内在关系与特性，进
6、而在网络中提取用户感兴趣的信息，获得更高层次的知识和规律。网络信息挖掘沿用了Robot，全文检索、人工智能的模式识别、神经网络等技术。现在的搜索引擎使用了这些技术，能够在网页或网站数据库中为用户搜寻有用信息。网络信息挖掘具体步骤如下：（1）确立目标样本。由用户选择目标文本，提取特征信息。（2）提取特征信息。根据目标样本的词频分布，从统计词典中提取挖掘目标的特征向量并计算出相应的权值。（3）网络信息获取。先利用搜索引擎站点选择待采集站点，再利用Robot程序采集静态Web页面，最后获取被访问站点网络数据库中的动态信息，生成WWW资源索引库。（4）信息特征匹配。提取索引库中的源信息特征向量，并与目
7、标样本的特征向量对照，将符合要求的信息交给用户。二、 数据分析与挖掘概述（一）信息分析信息分析是根据咨询问题的具体需要，对与之有关的信息进行整理、鉴别、评价、分析和综合，以便取得咨询所需新信息的过程。信息分析有如下几种用途：1跟踪。所谓跟踪，就是及时了解各领域新动向、新发展，从而发现问题、提出问题。2比较。比较各种事物的内部矛盾之后，把握事物间的联系，认识事物的本质，从而提出问题、确定目标、拟定方案并作出选择。3预测。利用已掌握的信息、知识和手段，推断事物的未来或未知方面。4评价。进行评价时应选择合适的变量和评价指标，应当考虑评价对象之间的可比性。信息分析所用方法，可分为定性和定量分析两种。定
8、性方法主要靠逻辑推理；而定量方法涉及数据间的数量关系，要建立数学模型，计算、求解。如今，信息越来越复杂，定性与定量分析已无法单独奏效，只能越来越多地结合起来。（二）数据分析数据分析是信息分析的一部分，数据分析是对收集数据进行系统的分析，建立适当的模型，揭示数据中隐含的技术、经济、社会和其他关系，以及发展趋势，为有关的咨询活动提交的有用的数字、信息或建议。数据分析的对象可分为时间序列和截面数据。如企业历年的咨询收入、利润总额等就是时间序列。截面数据是在同一时间的数据，如企业同一年咨询业务数目、营业额、费用、收入、人工耗费等。两种数据都要注意样本容量大小。对于截面数据，常用线性或非线性回归模型体现
9、数据之间的各种关系。数据分析属定量分析，包括数据统计分析、时间数据分析、空间数据分析。（三）数据挖掘数据挖掘就是从数据中挖掘出隐含、先前未知、有潜在用途，最终可为人理解的关系、模式、趋势和其他有用信息，并建立模型，用于预测、判断或决策，帮助企业更好地适应变化并做出更明智的决策的过程。数据挖掘广泛应用于制造、金融、零售、保健、中医药及电信等行业的客户关系管理、风险防范、供应链管理、竞争优势分析、部门分析等领域。数据挖掘要用到统计分析、人工智能、数据库和神经网络等方面的知识，如记忆推理、聚类分析、关联分析、决策树、神经网络、基因算法等。数据挖掘需要用户参与，并非某种单一工具、技术或软件即可独自完成
10、。另一方面，并非所有信息查询都可视为数据挖掘。例如，使用数据库管理系统查找个别记录，或用搜索引擎查找互联网特定的网页，属于信息检索，不能视为数据挖掘。当然，数据挖掘技术也有强大的信息检索能力。三、 工程咨询信息及其管理概述（一）工程咨询信息的内涵信息资源是工程咨询行业的核心资源，通过获取海量有效的信息，依靠信息、知识和智慧、先进科技手段进行服务。信息爆炸的社会要求工程咨询行业服务机构拥有获取信息、处理信息的能力和手段。工程咨询项目管理信息化是结合行业业务特点，以信息资源开发利用为核心，利用现代信息技术、网络技术等现代科技，强化信息技术在业务中的渗透，在工程咨询项目各环节中推广应用信息技术，以提
11、高工程咨询机构管理决策能力，提升咨询工作效率，增强机构行业竞争力。工程咨询需要的信息，涉及自然、资源、气候、水文、地质、人口、人文、项目投入产出、市场（商品、劳动力、金融）、财政及政策、货币政策、法规、标准与规范、发展规划等。（二）工程咨询信息管理的必要性我国经济进入新常态，全球化、绿色发展、结构调整、新技术应用等成为发展主基调，这不仅需要规模巨大的投资，而且更加注重发展质量，这就给工程咨询业带来了极大的发展机遇，也对工程咨询信息管理提出了新的需求。未来工程咨询将更多的应用建筑信息模型技术（BIM）、大数据、物联网、地理信息系统（GIS）无人机应用、AR仿真模拟、人工智能辅助查询与分析系统等，
12、也迫切要求工程咨询业能够尽快改变传统咨询手段，必须针对新技术、新产业进行调整，建立完善的数据分析与知识管理方法。传统的信息管理模式工作流程繁琐，耗费人力物力，亟待向智能管理模式迈进。工程咨询信息管理以丰富的信息资源为管理重点，利用“互联网+”、数据库管理系统等先进的信息管理手段，协助工程咨询人员能够从海量的业务数据中提供有用的信息，进而做出科学的判断以及正确的决策，从而实现为工程咨询的决策提供更加全面及时的信息支出，使工作更加便捷，回复也更加及时，大幅减少出现错误的概率，安全性更高。四、 “互联网+”背景下的工程咨询信息管理“互联网+”模式能充分发挥互联网在社会资源配置中的优化和集成作用，将互
13、联网的创新成果深度融合于各领域之中。工程咨询行业本身就具有数据化的天然属性，对“互联网+”模式有着接纳和融合的先天优势。“互联网+”模式的到来给工程咨询行业的发展带来了新的催化剂和生产力，也带来新思维模式和发展空间。随着计算机与通信技术的飞速发展，互联网不断扩展和普及，网络技术的发展使工程咨询机构能够以快捷、低成本的方式获取更多的信息资源。“互联网+工程咨询”系统是建设基于互联网的工程咨询机构系统，以丰富的信息资源为管理重心，同时全面集成客户、咨询、销售等业务处理系统及业务信息，支持工程咨询机构内部各层级间及工程咨询机构与外部环境有效沟通的信息管理系统。（一）“互联网+”对工程咨询数据分析的作
14、用工程咨询的工作与互联网连接，使工程咨询可与无限的知识、专家、信息等实现即时对接。一个项目可通过互联网连接强大数据信息库，提供大量相关理论知识与概念，然后通过线上咨询与更多专家进行沟通、研讨，最后可自动与全球其他类似案例进行匹配，提供建设性的意见与建议。“互联网+工程咨询”系统突破传统局限，利用互联网信息化技术将信息流、数据流、工作流和资金流集成，形成强大的集聚效应，使工程咨询行业在未来的市场竞争中不断发展，呈现一种无限制发展的态势。是提高工程咨询服务效率和水平。应用互联网有利于工程咨询人员掌握和有效利用相关数据信息，及时跟踪新政策、新技术的变化，增强决策者信息处理能力，提高工程咨询的服务效率
15、。二是提高信息的准确性和及时性。及时、准确的获取信息是工程咨询的基础，信息技术改变了工程咨询人员获取信息、搜集信息和传递信息的方式，工程咨询数据的存储、整理、分析、查询、统计和传递可通过专业的信息系统实现，缩短了信息传递周期。三是有效控制工程咨询项目成本。将工程咨询项目执行成本纳入管理范围，通过统计分析发现项目管理中的问题，找出制约效益的瓶颈，从而降低项目成本，提高工程咨询单位的效益。（二）信息管理目的与任务工程咨询企业自己拥有大量信息，使用方便、可靠、费用低。因此，只有当本企业缺乏所需信息时，才考虑其他来源。工程咨询企业在长期为客户服务中产生很多成果与文件，如客户资料、产品配方、生产工艺、设
16、计图纸、货源资料、营销方案、财务报告等，往往使工程咨询企业形成竞争优势。这些宝贵资源若管理不善则不但无法得到有效利用，还会危及工程咨询企业的竞争地位和安全。目前，上述信息十分庞杂，有些企业不善于管理，仍然依靠资料室、图书馆等传统手段保存和管理上述信息，未设立有效的信息管理系统，致使员工在查找所需信息时耗费了大量不必要的时间，甚至找不到本企业实际上有的数据、信息、文件或其他资料，造成了资源的极大浪费；即使使用数据库，能力也很有限。另一方面，一些企业内的某些部门囿于自身利益，不愿意将自己掌握的信息与其他部门共事。落后的信息管理已经严重妨碍了咨询业务的发展，工程咨询企业应当了解信息管理的重要性及紧迫性，迅速改
