《测井设备工程项目数据分析与挖掘（工程管理）》由会员分享，可在线阅读，更多相关《测井设备工程项目数据分析与挖掘（工程管理）（15页珍藏版）》请在金锄头文库上搜索。
1、泓域咨询/测井设备工程项目数据分析与挖掘测井设备工程项目数据分析与挖掘xxx有限公司一、 大数据系统和数据挖掘技术（一）数据挖掘概述1大数据大数据是指超过既往数据库系统规模、传输速度和处理能力，或者既往数据库系统结构无法容纳的数据。大数据常以万亿或EB衡量，且种类多、实时性强，蕴藏的商业价值大。很多现有的新或旧的信息基础设施、工具和技术可用来开发和利用大数据中蕴藏的价值。大数据有各种各样的来源：传感器、气候信息、公开的信息、如杂志、报纸、文章、买卖记录、网络日志、病历、事监控、视频和图像档案，及大型电子商务。大数据是数据挖掘产生与生存发展的土壤。如今数据每五年翻一番，面对前所未有的海量数据，为
2、了从中发现有用的信息必须进行数据挖掘。此外，计算机存储、处理大量数据，以及运算的能力大为增强，为数据挖掘创造了条件，使其成为一门独特的学科和技术。2数据挖掘与数据分析的区别数据挖掘与数据分析的主要区别在于：（1）处理工作量。数据分析的数据量可能并不大，而数据挖掘的数据量极大。（2）制约条件。数据分析是从某些假设出发，建立方程或模型，而数据挖掘不作假设，可以自动建立方程。（3）处理对象。数据分析往往是针对数字型数据，而数据挖掘对象类型繁多，例如图像、声音、文本等。（4）处理结果。数据分析可以解释结果的含义；数据挖掘的结果不易解释，着眼于预测未来，并提出决策建议。想要从数据中发现规律（即认知），往
3、往需将数据分析和数据挖掘结合起来。（二）数据挖掘步骤按挖掘对象，数据挖掘分为数据库与数据仓库挖掘和网络挖掘两种，各自步骤分述如下。1数据库与数据仓库挖掘数据挖掘一般有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘、模式评估和知识表示8个步骤。（1）信息收集。从确定的挖掘对象中提取特征，然后选择合适的收集方法，将收集到的信息存入数据库。对于海量数据，必须选择合适的数据仓库。（2）数据集成。把来源、格式、特点、性质不同的数据按逻辑或物理属性加以编排，以便以后使用。（3）数据规约。多数数据挖掘算法耗时很长，商业数据往往较多，数据挖掘更耗时间。数据规约就是简化已有可用数据集的表示，规约后数
4、量大减，但仍能保持原数据的完整性，对规约数据的挖掘结果，与对规约前数据的挖掘结果相同或几乎相同。（4）数据清理。有些数据不完整（属性缺少属性值）、含噪声（属性值错误），不一致（同一信息有多种表示），需要清理，使其完整、正确、一致后存入数据仓库。（5）数据变换。将数据变换成适合数据挖掘的形式。实数型数据，可将其分层和离散化。（6）数据挖掘。根据数据格式、属性与特点，选择合适的处理工具，例如统计方法、事例推理、决策树、规则推理、模糊集，甚至神经网络，取得有用的信息。（7）模式评估。由行业专家核实数据挖掘结果是否合理、是否可用。（8）知识表示。将数据挖掘得到的信息以可视方式交给用户，或作为新的知识存
5、人知识库，供其他应用程序使用。并非所有的数据挖掘都要走上述的每一步。若只有一个数据源，则可以省略数据集成。数据规约、数据清理、数据变换合称数据预处理。数据挖掘至少60%的费用要花在信息收集阶段，而至少60%以上的精力和时间要花在数据预处理上。数据挖掘是一个反复多次的过程，若一次未满足要求或未得到有用结果，则需回到前面，经过调整后重新开始。2，网络挖掘网络挖掘可分为网络用户行为挖掘与网络信息挖掘。前者基本不在工程咨询人员关心之列。后者可理解为“从WWW中发现和分析有用的信息”。网络信息挖掘是在已知数据样本的基础上，通过归纳学习、机器学习、统计分析等发现挖掘对象间的内在关系与特性，进而在网络中提取
6、用户感兴趣的信息，获得更高层次的知识和规律。网络信息挖掘沿用了Robot，全文检索、人工智能的模式识别、神经网络等技术。现在的搜索引擎使用了这些技术，能够在网页或网站数据库中为用户搜寻有用信息。网络信息挖掘具体步骤如下：（1）确立目标样本。由用户选择目标文本，提取特征信息。（2）提取特征信息。根据目标样本的词频分布，从统计词典中提取挖掘目标的特征向量并计算出相应的权值。（3）网络信息获取。先利用搜索引擎站点选择待采集站点，再利用Robot程序采集静态Web页面，最后获取被访问站点网络数据库中的动态信息，生成WWW资源索引库。（4）信息特征匹配。提取索引库中的源信息特征向量，并与目标样本的特征向
7、量对照，将符合要求的信息交给用户。二、 数据分析与挖掘概述（一）信息分析信息分析是根据咨询问题的具体需要，对与之有关的信息进行整理、鉴别、评价、分析和综合，以便取得咨询所需新信息的过程。信息分析有如下几种用途：1跟踪。所谓跟踪，就是及时了解各领域新动向、新发展，从而发现问题、提出问题。2比较。比较各种事物的内部矛盾之后，把握事物间的联系，认识事物的本质，从而提出问题、确定目标、拟定方案并作出选择。3预测。利用已掌握的信息、知识和手段，推断事物的未来或未知方面。4评价。进行评价时应选择合适的变量和评价指标，应当考虑评价对象之间的可比性。信息分析所用方法，可分为定性和定量分析两种。定性方法主要靠逻
8、辑推理；而定量方法涉及数据间的数量关系，要建立数学模型，计算、求解。如今，信息越来越复杂，定性与定量分析已无法单独奏效，只能越来越多地结合起来。（二）数据分析数据分析是信息分析的一部分，数据分析是对收集数据进行系统的分析，建立适当的模型，揭示数据中隐含的技术、经济、社会和其他关系，以及发展趋势，为有关的咨询活动提交的有用的数字、信息或建议。数据分析的对象可分为时间序列和截面数据。如企业历年的咨询收入、利润总额等就是时间序列。截面数据是在同一时间的数据，如企业同一年咨询业务数目、营业额、费用、收入、人工耗费等。两种数据都要注意样本容量大小。对于截面数据，常用线性或非线性回归模型体现数据之间的各种
9、关系。数据分析属定量分析，包括数据统计分析、时间数据分析、空间数据分析。（三）数据挖掘数据挖掘就是从数据中挖掘出隐含、先前未知、有潜在用途，最终可为人理解的关系、模式、趋势和其他有用信息，并建立模型，用于预测、判断或决策，帮助企业更好地适应变化并做出更明智的决策的过程。数据挖掘广泛应用于制造、金融、零售、保健、中医药及电信等行业的客户关系管理、风险防范、供应链管理、竞争优势分析、部门分析等领域。数据挖掘要用到统计分析、人工智能、数据库和神经网络等方面的知识，如记忆推理、聚类分析、关联分析、决策树、神经网络、基因算法等。数据挖掘需要用户参与，并非某种单一工具、技术或软件即可独自完成。另一方面，并
10、非所有信息查询都可视为数据挖掘。例如，使用数据库管理系统查找个别记录，或用搜索引擎查找互联网特定的网页，属于信息检索，不能视为数据挖掘。当然，数据挖掘技术也有强大的信息检索能力。三、 项目背景分析石油工业产业链主要包括地质调查、油气勘探、油气开发、油气生产、炼油化工等环节。其中，油气勘探、油气开发、油气生产过程需应用到石油测井技术，其作用为测量、记录、分析井下岩石或流体的物理特性，并承担储集层油气评价、地层评价和完井评价的任务。石油测井是整条石油工业产业链中不可或缺的，亦是技术含量最高的环节之一。油气勘探就是利用各种勘探手段寻找和查明油气资源、确定油气聚集有利地区、找到储油气的圈闭、探明油气田
11、面积和油气层情况并预测产出能力的过程；油气开发是在油田最终投产前的必要环节。一个油气田的开发，往往要打几百口甚至几千口或更多的井，用以布置井网，分别用于测试、采油和观察等不同目的；油气生产是把在油井中的油、气从井底举升到井口的整个过程。油气的上升可以依靠地层的能量自喷，也可以依靠抽油泵、气举等人工增补的能量举出。总之从一口井开钻起，到油层枯竭，油井报废为止，都要进行测井，测井是油气勘探和油田开发全过程中最可靠的监测方法，也可以说不进行测井就无法勘探和开发石油天然气。按照应用领域分类，测井可分为裸眼井测井和套管井测井。按照测井方式分类，测井又可分为电缆测井、过钻头测井和随钻测井。按照测井的技术阶
12、段分类，测井又可分为数控测井和成像测井。2012年我国油田服务市场规模为1460亿元，2020年我国油田服务市场规模增长至1416亿元，其中钻完井服务市场规模为755.9亿元，物探服务市场规模为89.6亿元，测录试市场规模为177.4亿元。自二十世纪八十年代初期，中国测井仪器基本依靠从斯伦贝谢、贝克休斯和哈里伯顿进口的数控测井系统。九十年代末我国又开始引进美国第二代测井仪器即成像测井系统，进口产品价格非常昂贵。二十一世纪初期，国际测井市场领先企业逐步减少了对中国的测井仪器销售，在此期间，国产测井仪器的技术取得了快速发展。国产成套测井仪器水平也有较大提升，并自主开发出了与国际技术水平相当的测井系
13、统。在此阶段国内测井仪器生产企业对作业需求量大的常规测井系列进行了系统集成，改进仪器传感器设计，优化电子线路和机械设计，大大缩短了组合仪器串长度，增强了仪器稳定性，提高了测量准确度，一次下井可以完成所有常规测井资料的采集，提高了测井作业的时效。随着石油测井行业的不断发展，使用测井仪器的测井服务单位对仪器无论从产品性能、功能和价格等方面均有了新的要求，这既为测井仪器制造商提供了需求也提出了挑战，各测井仪器制造商纷纷加大研发投入，以适应市场发展。与此同时，测井仪器市场的竞争格局也在发生着变化。目前下游测井服务单位正在从普遍采用低端数控测井系统的格局转向更多使用高端成像测井系统，技术先进、质量较高的
14、产品将成为市场主导，且测井仪器制造商也逐步将高端设备领域作为主要的发展方向。未来整个行业正转向高端产品领域的竞争。相对于海外发达国家，我国的石油测井设备发展起步较晚，技术实力较低，在行业发展初期，主要依靠进口品牌满足国内市场需求。随着我国原油开采产量持续增长，巨大的市场需求和市场化改革带动国内石油测井行业快速发展。在国内测井仪器市场上，生产测井仪器的主要企业包括中油测井、胜利伟业、中海油服、环鼎科技、中电二十二所等，紫贝龙、海默科技、吉艾科技在市场上也具有较强的竞争力。未来，随着我国石油开采事业的推进，石油测井设备的市场规模将保持波动增长态势。预计2021年我国石油测井设备行业市场规模为24.
15、3亿元，2027年我国石油测井设备行业市场规模为28.7亿元，年复合增长率为2.81%。四、 现代工程咨询方法框架（一）现代工程咨询方法体系现代工程咨询方法体系包括哲学方法、逻辑方法和学科方法。哲学方法一般是辩证地分析事物的两面性，包括它的优点和缺点、正面效应和反面效应；逻辑方法是用概念、判断、推理、假说等逻辑思维形式，对事物进行归纳、演绎、综合；学科方法是利用各种学科中常用的研究方法，包括文献法、观察法、访谈法、问卷法、测量法和实验法、价值工程方法、网络控制方法、市场调查研究方法、战略规划研究方法、财务评价方法、经济评价方法、风险分析方法等。（二）常用现代工程咨询方法基于咨询工程师的基本能力要求，以项目周期的全过程咨询服务为主线，重点集中于投资项目前期咨询服务领域，常用的现代工程咨询方法包括综合分析、规划咨询、市场分析、项目评价、项目管理等五大类，每一大类中又包括若干具体方法。需要说明的是，虽然我们将某一具体方法归于某一大类名下，但其并不是仅限应用于此类项目咨询领域，亦可应用于其他项目咨询中。如利益相关者分析法，经常应用于规划咨询，同时也常用于社会评价；如德尔菲法，不仅应用于市场预测，同时也应用于规划咨询、社会评价等。五、 项目名称及项目单位项目名称：测井设备工程项目项目单位：xxx有限公司六、 项目建设地点本期项目选址位于xx园区，占地面积约59.00亩。项目拟定建设区域地
