《KT板项目数据采集分析与知识管理(工程项目管理)》由会员分享,可在线阅读,更多相关《KT板项目数据采集分析与知识管理(工程项目管理)(18页珍藏版)》请在金锄头文库上搜索。
1、泓域咨询/KT板项目数据采集分析与知识管理KT板项目数据采集分析与知识管理xxx(集团)有限公司一、 工程咨询信息类型及来源(一)信息类型工程咨询需要的信息,量大、面广。为了便于识别、分析、存储与保管,可从不同的角度将其分类。例如,从信息属性、来源、形态、用途、载体,是否随时而变或是否经过加工处理等角度划分。1不同属性的信息工程咨询中常用如下几种属性信息:(1)法律。国家、各级政府颁布的有关投资与工程建设的各种法律、法规、规章等。(2)规划与政策。国家和地方的各种规划(战略、行业),以及财政、税收、货币、投资和产业等方面的政策。(3)标准与规范。国家各部门或专业协会发布的技术经济指标、定额、标
2、准与规范等。(4)自然与资源。调查、统计或其他机构保存或取得的河流、湖泊、沼泽、山脉、森林、植被、矿藏、水文等地理资料,气象、气候等天文资料等。(5)行业统计。全国乃至全球各行业规模与产业动向、生产与销售、进出口、技术,以及主要企业、公司等的现状、竞争态势,以及发展趋势等。(6)投资与项目。全国乃至全球各种项目的实施过程与结果,包括投资、规模、技术来源、标准、设备、产品性能和目标市场等。(7)区域社会与经济状况。区域的社会、民族、文化、教育、宗教、习俗等人文状况,区域经济发展、税收、财政、基础设施等。2来源不同的信息(1)内部信息。企业或项目已有或反映企业及项目状况,不希望外人获知的信息。(2
3、)外部信息。诸如宏观政策的变动、市场动态、竞争情况、政策法规、技术发展等方面的信息。3媒介与形式不同的信息信息有多种形式,如数据、文字、图样、影像、录音。信息载体或媒介亦有多种,如书籍、文件、报告、会议、数据库和磁盘等。4原始信息与加工信息信息有原始和加工信息。原始信息,如人口普查记录;加工信息,利用某些方法,根据原始信息取得的判断、评价、预测及建议等,如对人口构成的分析。5用途不同的信息信息的用途五花八门,如标准、规范、手册等,通常用于技术方案设计;如生产资料价格、概算定额等,通常用于投资估算;如税率、产品价格、影子价格等,通常用于项目财务分析或经济分析;行业基准收益率、市场竞争情况等,通常
4、用于投资项目决策。6动态信息与静态信息信息可分为静态和动态两类,前者指不随时间变化或变化较小的信息,如道路、停车场、交通附属设施等;后者为随时变化的信息,如道路状况、交通事故、天气、车辆密度与流量等。7显性信息与隐性信息显性信息指以文字、图形或其他符号明显记载于书籍或其他介质的信息。隐性信息是须经过分析、联系与推断才能获得的信息。(二)工程咨询对信息的基本要求信息是咨询和决策的基础,至少应满足如下要求。1来源须可靠,必须来源于实际,不能含有虚假、伪造的成分。2必须全面或较全面反映客观事物与过程,不得将片面、残缺的信息用于咨询。3必须适合或基本适合选用的咨询方法。不同的咨询方法需要不同范围和时间
5、段的信息。如果不能适合选用的咨询方法,就应选择其他咨询方法。(三)信息来源信息来源很多,例如图书馆、档案馆、调查或咨询机构、学校、出版与研究机构、商场、国家与地方统计局及其他政府或新闻机构、国际组织与外国驻华机构、互联网等。1网络和出版物从互联网上能够快速检索到最新、非常有价值的信息。当然,对这些信息必须特别注意加以鉴别,去伪存真。公开出版物同样发布大量有用的信息,例如行业年鉴、调查与统计报告、专题研究报告等。2借阅与购买从合作单位、专门机构索取或购买资料是一种重要的信息来源。如到各种图书馆借阅文献与资料,购买国家或地方统计局出版的综合与行业统计年鉴,向某些调查机构索取或购买调查报告,向测量部
6、门购买卫星图片、航测或航拍图片,向地震部门购买地震分布资料,向水文、气象部门采购历年水文、气象资料,向城市主管部门采购地理信息资料,向地质勘探部门采购地质勘探资料等。3自有信息从事规划、勘察、设计、科研、监理等咨询活动的咨询企业,积累了大量宝贵信息,例如水文地质与地形勘察报告、图档、投资估算、设计概算、工程决算、可行性研究报告、监理报告、实验报告、总结报告、国内外工程招标信息、最新行业动态和资讯、竞争企业情报、国内外工程规范和标准惯例、公司资质和专业资质、人力资源、公文公告、财务信息、企业管理制度和报表模板等,不少咨询企业还拥有专利。二、 工程咨询信息及其管理概述(一)工程咨询信息的内涵信息资
7、源是工程咨询行业的核心资源,通过获取海量有效的信息,依靠信息、知识和智慧、先进科技手段进行服务。信息爆炸的社会要求工程咨询行业服务机构拥有获取信息、处理信息的能力和手段。工程咨询项目管理信息化是结合行业业务特点,以信息资源开发利用为核心,利用现代信息技术、网络技术等现代科技,强化信息技术在业务中的渗透,在工程咨询项目各环节中推广应用信息技术,以提高工程咨询机构管理决策能力,提升咨询工作效率,增强机构行业竞争力。工程咨询需要的信息,涉及自然、资源、气候、水文、地质、人口、人文、项目投入产出、市场(商品、劳动力、金融)、财政及政策、货币政策、法规、标准与规范、发展规划等。(二)工程咨询信息管理的必
8、要性我国经济进入新常态,全球化、绿色发展、结构调整、新技术应用等成为发展主基调,这不仅需要规模巨大的投资,而且更加注重发展质量,这就给工程咨询业带来了极大的发展机遇,也对工程咨询信息管理提出了新的需求。未来工程咨询将更多的应用建筑信息模型技术(BIM)、大数据、物联网、地理信息系统(GIS)无人机应用、AR仿真模拟、人工智能辅助查询与分析系统等,也迫切要求工程咨询业能够尽快改变传统咨询手段,必须针对新技术、新产业进行调整,建立完善的数据分析与知识管理方法。传统的信息管理模式工作流程繁琐,耗费人力物力,亟待向智能管理模式迈进。工程咨询信息管理以丰富的信息资源为管理重点,利用“互联网+”、数据库管
9、理系统等先进的信息管理手段,协助工程咨询人员能够从海量的业务数据中提供有用的信息,进而做出科学的判断以及正确的决策,从而实现为工程咨询的决策提供更加全面及时的信息支出,使工作更加便捷,回复也更加及时,大幅减少出现错误的概率,安全性更高。三、 现代工程咨询方法框架(一)现代工程咨询方法体系现代工程咨询方法体系包括哲学方法、逻辑方法和学科方法。哲学方法一般是辩证地分析事物的两面性,包括它的优点和缺点、正面效应和反面效应;逻辑方法是用概念、判断、推理、假说等逻辑思维形式,对事物进行归纳、演绎、综合;学科方法是利用各种学科中常用的研究方法,包括文献法、观察法、访谈法、问卷法、测量法和实验法、价值工程方
10、法、网络控制方法、市场调查研究方法、战略规划研究方法、财务评价方法、经济评价方法、风险分析方法等。(二)常用现代工程咨询方法基于咨询工程师的基本能力要求,以项目周期的全过程咨询服务为主线,重点集中于投资项目前期咨询服务领域,常用的现代工程咨询方法包括综合分析、规划咨询、市场分析、项目评价、项目管理等五大类,每一大类中又包括若干具体方法。需要说明的是,虽然我们将某一具体方法归于某一大类名下,但其并不是仅限应用于此类项目咨询领域,亦可应用于其他项目咨询中。如利益相关者分析法,经常应用于规划咨询,同时也常用于社会评价;如德尔菲法,不仅应用于市场预测,同时也应用于规划咨询、社会评价等。四、 大数据系统
11、和数据挖掘技术(一)数据挖掘概述1大数据大数据是指超过既往数据库系统规模、传输速度和处理能力,或者既往数据库系统结构无法容纳的数据。大数据常以万亿或EB衡量,且种类多、实时性强,蕴藏的商业价值大。很多现有的新或旧的信息基础设施、工具和技术可用来开发和利用大数据中蕴藏的价值。大数据有各种各样的来源:传感器、气候信息、公开的信息、如杂志、报纸、文章、买卖记录、网络日志、病历、事监控、视频和图像档案,及大型电子商务。大数据是数据挖掘产生与生存发展的土壤。如今数据每五年翻一番,面对前所未有的海量数据,为了从中发现有用的信息必须进行数据挖掘。此外,计算机存储、处理大量数据,以及运算的能力大为增强,为数据
12、挖掘创造了条件,使其成为一门独特的学科和技术。2数据挖掘与数据分析的区别数据挖掘与数据分析的主要区别在于:(1)处理工作量。数据分析的数据量可能并不大,而数据挖掘的数据量极大。(2)制约条件。数据分析是从某些假设出发,建立方程或模型,而数据挖掘不作假设,可以自动建立方程。(3)处理对象。数据分析往往是针对数字型数据,而数据挖掘对象类型繁多,例如图像、声音、文本等。(4)处理结果。数据分析可以解释结果的含义;数据挖掘的结果不易解释,着眼于预测未来,并提出决策建议。想要从数据中发现规律(即认知),往往需将数据分析和数据挖掘结合起来。(二)数据挖掘步骤按挖掘对象,数据挖掘分为数据库与数据仓库挖掘和网
13、络挖掘两种,各自步骤分述如下。1数据库与数据仓库挖掘数据挖掘一般有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘、模式评估和知识表示8个步骤。(1)信息收集。从确定的挖掘对象中提取特征,然后选择合适的收集方法,将收集到的信息存入数据库。对于海量数据,必须选择合适的数据仓库。(2)数据集成。把来源、格式、特点、性质不同的数据按逻辑或物理属性加以编排,以便以后使用。(3)数据规约。多数数据挖掘算法耗时很长,商业数据往往较多,数据挖掘更耗时间。数据规约就是简化已有可用数据集的表示,规约后数量大减,但仍能保持原数据的完整性,对规约数据的挖掘结果,与对规约前数据的挖掘结果相同或几乎相同。(4
14、)数据清理。有些数据不完整(属性缺少属性值)、含噪声(属性值错误),不一致(同一信息有多种表示),需要清理,使其完整、正确、一致后存入数据仓库。(5)数据变换。将数据变换成适合数据挖掘的形式。实数型数据,可将其分层和离散化。(6)数据挖掘。根据数据格式、属性与特点,选择合适的处理工具,例如统计方法、事例推理、决策树、规则推理、模糊集,甚至神经网络,取得有用的信息。(7)模式评估。由行业专家核实数据挖掘结果是否合理、是否可用。(8)知识表示。将数据挖掘得到的信息以可视方式交给用户,或作为新的知识存人知识库,供其他应用程序使用。并非所有的数据挖掘都要走上述的每一步。若只有一个数据源,则可以省略数据
15、集成。数据规约、数据清理、数据变换合称数据预处理。数据挖掘至少60%的费用要花在信息收集阶段,而至少60%以上的精力和时间要花在数据预处理上。数据挖掘是一个反复多次的过程,若一次未满足要求或未得到有用结果,则需回到前面,经过调整后重新开始。2,网络挖掘网络挖掘可分为网络用户行为挖掘与网络信息挖掘。前者基本不在工程咨询人员关心之列。后者可理解为“从WWW中发现和分析有用的信息”。网络信息挖掘是在已知数据样本的基础上,通过归纳学习、机器学习、统计分析等发现挖掘对象间的内在关系与特性,进而在网络中提取用户感兴趣的信息,获得更高层次的知识和规律。网络信息挖掘沿用了Robot,全文检索、人工智能的模式识别、神经网络等技术。现在的搜索引擎使用了这些技术,能够在网页或网站数据库中为用户搜寻有用信息。网络信息挖掘具体步骤如下:(1)确立目标样本。由用户选择目标文本,提取特征信息。(2)提取特征信息。根据目标样本的词频分布,从统计词典中提取挖掘目标的特征向量并计算出相应的权值。(3)网络信息获取。先利用搜索引擎站点选择待采集站点,再利用Robot程序采集静态Web页面,最后获取被访问站点网络数据库中的动态信息,生成WWW资源索引库。(4)信息特征匹配。提取索引库中的源信息特征向量,并与目标样本的特征向量对照,将符合要求的信息交