《交通系统综合平台中数据挖掘技术原理和在智能交通中的应用》由会员分享，可在线阅读，更多相关《交通系统综合平台中数据挖掘技术原理和在智能交通中的应用（7页珍藏版）》请在金锄头文库上搜索。
1、交通系统综合平台中数据挖掘技术原理和在智能交通中的应用摘要:数据挖掘作为在综合信息平台的海量数据中有效而可靠地提取有决策价值 的先进技术，已日益受到重视。本文首先介绍了数据挖掘的定义接着介绍了常用 的数据挖掘方法，然后分析了数据挖掘的过程，最后提出了数据挖掘技术在综合 信息平台中的典型应用及基于数据挖掘技术的交通信息集成模型。关键词：智能交通系统；综合信息平台；数据挖掘；应用0.引言智能交通系统综合平台是为实现各ITS子系统间的数据共享、实现深层次的 信息融合和知识发现而提供的综合平台。该平台能够接受、存储和处理多源、异 构数据，具有数据融合、数据挖掘的功能，并能够为各种应用子系统和公众提供
2、完善的信息服务。目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法 发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势，缺乏挖掘数据背后隐藏的知识的手段，导致了 “数据爆炸但知识贫乏”的现象。如何 在综合信息平台中有效地进行数据挖掘成为智能交通系统发展的一个重要问题。1 .数据挖掘的定义数据挖掘，英文是 Data Mining 。关于它的一种比较公认的定义是：从大型 数据库的数据中提取人们感兴趣的知识，这些知识是隐含的、事先未知的潜在有 用信息，提取的知识表示为概念(Concepts )、规则(Rules )、规律 (Regularities )、模式(Patte
3、rns) 等形式。式。这种定义把数据挖掘的对象定义为数据库。将数据挖掘工具与传统的数据分析工具进行比较， 传统的数据分析工具是对 过去情况的验证，而数据挖掘技术则是基于发现型的、预测型的，运用模式匹配 等各种算法对数据之间的关系进行挖掘。数据挖掘系统框架：2 .数据挖掘的方法数据挖掘的研究融合了多个不同学科领域的技术与成果， 使得目前的数据挖 掘方法表现出多种多样的形式。从统计分析类的角度来说，统计分析技术中使用 的数据挖掘模型有线形分析和非线形分析、 回归分析、逻辑回归分析、单变量分析、 多变量分析、时间序列分析、最近序列分析、最近邻算法和聚类分析等方法。利用这些技术可以检查那些异常形式的数
4、据，然后， 利用各种统计模型和数学模型解释这些数据，解释隐藏在这些数据背后的市场规律和商业机会。知识发现类数据挖掘技术是一种与统计分析类数据挖掘技术完全不同的挖掘技术，包括人工神经元网络、支持向量机、决策树、 遗传算法、粗糙集、 规则发现和关联顺序等。2.1 统计方法传统的统计学为数据挖掘提供了许多判别和回归分析方法，常用的有贝叶斯推理、 回归分析、方差分析等技术、贝叶斯推理是在知道新的信息后修正数据集概率分布的基本工具，处理数据挖掘中的分类问题，回归分析用来找到一个输入变量和输出变量关系的最佳模型，在回归分析中有用来描述一个变量的变化趋势和别的变量值的关系的线性回归，还有用来为某些事件发生的
5、概率建模为预测变量集的对数回归、统计方法中的方差分析一般用于分析估计回归直线的性能和自变量对最终回归的影响，是许多挖掘应用中有力的工具之一。2.2 关联规则关联规则是一种简单，实用的分析规则，它描述了一个事物中某些属性同时出现的规律和模式，是数据挖掘中最成熟的主要技术之一。它是由R Agrawal等人首先提出的，最经典的关联规则的挖掘算法是Apriori ，该算法先挖出所有的频繁项集，然后， 由频繁项集产生关联规则，许多关联规则频繁项集的挖掘算法都是由它演变而来的，关联规则在数据挖掘领域应用很广泛适合于在大型数据集中发现数据之间的有意义关系，原因之一是它不受只选择一个因变量的限制，关联规则在数
6、据挖掘领域最典型的应用是购物篮分析。大多数关联规则挖掘算法能够无遗漏发现隐藏在所挖掘数据中的所有关联关系，所挖掘出的关联规则量往往非常巨大，但是， 并不是所有通过关联得到的属性之间的关系都有实际应用价值， 对这些关联规则进行有效的评价，筛选出用户真正感兴趣的，有意义的关联规则尤为重要。2.3 聚类分析聚类分析是根据所选样本间关联的标准将其划分成几个组，同组内的样本具有较高的相似度，不同组的则相异，常用的技术有分裂算法，凝聚算法，划分聚类和增量聚类。聚类方法适合于探讨样本间的内部关系，从而对样本结构做出合理的评价，此外， 聚类分析还用于对孤立点的检测。有时进行聚类不是为了将对象相聚在一起而是为了
7、更容易地使某个对象从其他对象中分离出来。聚类分析已被应用于经济分析、模式识别、图像处理等多种领域，尤其在商业上，聚类分析可以帮助市场人员发现顾客群中所存在的不同特征组群。聚类分析的技术关键除了算法的选择之外，就是对样本的度量标准的选择。并非由聚类分析算法得到的类对决策都有效，在运用某一个算法之前，一般要先对数据的聚类趋势进行检验。2.4 决策树方法决策树学习是一种通过逼近离散值目标函数的方法，通过把实例从根结点排列到某个叶子结点来分类实例，叶子结点即为实例所属的分类。树上的每个结点说明了对实例的某个属性的测试，该结点的每一个后继分支对应于该属性的一个可能值，分类实例的方法是从这棵树的根结点开始
8、，测试这个结点指定的属性，然后按照给定实例的该属性值对应的树枝向下移动。决策树方法是要应用于数据挖掘的分类方面。2.5 神经网络神经网络建立在自学习的数学模型基础之上， 能够对大量复杂的数据进行分 析，并可以完成对人脑或其他计算机来说极为复杂的模式抽取及趋势分析，神经网络既可以表现为有指导的学习也可以是无指导聚类，无论哪种，输入到神经网络中的值都是数值型的。人工神经元网络模拟人脑神经元结构，以 MP模型和 Hebb学习规则为基础，建立三大类多种神经元网络，具有非线形映射特性、信 息的分布存储、并行处理和全局集体的作用、高度的自学习、自组织和自适应能 力的种种优点。前馈神经元网络以感知器网络、B
9、P网络等为代表，可以用于分类和预测等方面；反馈式网络以Hopfield网络为代表，用于联想记忆和优化计算； 自组织网络以ART模型、Kohonon模型为代表，用于聚类。2.6 遗传算法遗传算法是一种受生物进化启发的学习方法， 通过变异和重组当前己知的最 好假设来生成后续的假设。每一步，通过使用目前适应性最高的假设的后代替代 群体的某个部分，来更新当前群体的一组假设，来实现各个个体的适应性的提高。 遗传算法由三个基本过程组成：繁殖（选择）是从一个旧种群（父代）选出生命力强 的个体，产生新种群（后代）的过程;交叉重组）选择两个不同个体染色体）的部 分（基因）进行交换，形成新个体的过程；变异（突变）
10、是对某些个体的某些基因进行 变异的过程。在数据挖掘中，可以被用作评估其他算法的适合度。2.7 粗糙集粗糙集能够在缺少关于数据先验知识的情况下，只以考察数据的分类能力为基础，解决模糊或不确定数据的分析和处理问题。 粗糙集用于从数据库中发现分 类规则的基本思想是将数据库中的属性分为条件属性和结论属性，对数据库中的元组根据各个属性不同的属性值分成相应的子集，然后对条件属性划分的子集与 结论属性划分的子集之间上下近似关系生成判定规则。所有相似对象的集合称为 初等集合，形成知识的基本成分。任何初等集合的并集称为精确集，否则，一个 集合就是粗糙的（不精确的）。每个粗糙集都具有边界元素，也就是那些既不能确
11、定为集合元素，也不能确定为集合补集元素的元素。 粗糙集理论可以应用于数据 挖掘中的分类、发现不准确数据或噪声数据内在的结构联系。3 .数据挖掘的过程对于数据挖掘，我们可以分为三个主要的阶段：数据准备、数据挖掘、结果的 评价和表达。其中结果的评价和表达还可以细分为： 评估、解释模式模型、巩固、 运用知识。数据库中的知识发现是一个多步骤的处理过程， 也是这三个阶段的反 复过程，如图2-1所示：数据面取数据处理数据挖期给果评侨和表达*数据唯备数据捻掘结果评价和表达图2.1数据挖掘的过程3.1 数据准备KDD的处理对象是大量的数据，这些数据一般存储在数据库系统中，长期 积累的结果。但是往往不适合直接在
12、这些数据上面进行知识挖掘，需要做数据准备工作，一般包括数据的选择（选择相关的数据卜净化（消除噪音、数据）、推测（推 算缺失数据）、转换（离散值数据与连续值数据之间的相互转换，数据值的分组分 类，数据项之间的计算组合等 卜数据缩减（减少数据量）。这些工作往往在生成数 据仓库时己经准备妥当。数据准备是 KDD的第一个步骤。数据准备是否做好将 影响到数据挖掘的效率和准确度以及最终模式的有效性。3.2 数据挖掘数据挖掘是KDD最关键的步骤，也是技术难点所在。研究 KDD的人员中 大部分都在研究数据挖掘技术，采用较多的技术有决策树、分类、聚类、粗糙集、 关联规则、神经网络、遗传算法等。数据挖掘根据 KD
13、D的目标，选取相应算法 的参数，分析数据，得到可能型号层知识的模式模型。3.3 结果评价和表达评估、解释模式模型：上面得到的模式模型，有可能是没有实际意义或没有 使用价值的，也有可能是其不能准确反映数据的真实意义，甚至在某些情况下是 与事实相反的，因此需要评估，确定哪些是有效的、有用的模式。评估可以根据 用户多年的经验，有些模式也可以直接用数据来检验其准确性。这个步骤还包括 把模式以易于理解的方式呈现给用户。巩固知识：用户理解的、并被认为是符合 实际和有价值的模式模型形成了知识。同时还要注意对知识做一致性检查，解决 与以前得到的知识相互冲突、矛盾的堤防，使知识得到巩固。运用知识：发现知 识是为
14、了运用，如何使知识能被运用也是 KDD的步骤之一。运用知识有两种方 法:一种是只需要看知识本身所描述的关系或结果，就可以对决策提供支持；另一种是要求对新的数据运用知识，由此可能产生新的问题，而需要对知识做进一步 的优化。KDD的过程可能需要多次的循环反复，每一个步骤一旦与预期目标不 符，都要回到前面的步骤，重新调整，重新执行。4 .数据挖掘技术在交通流分析中的应用数据挖掘的任务是从数据中发现模式。 模式有很多种，按功能可分为两大类： 描述型和预测型模式。描述型模式是对数据中存在的规则作一种描述，或者根据 数据的相似性把数据分组，描述型模式不能直接用于预测。预测型模式是可以根 据数据项的值精确确
15、定某种结果的模式。挖掘预测型模式所使用的数据也都是可 以明确知道结果的。下面分述模式描述和模式预测两种典型的数据挖掘方法以及 在交通流分析中的应用方法。4.1 基于模糊聚类的模式描述4.1.1 算法描述模糊聚类分析白基本思路为：欲将数据集X =玉，声，演分为C类，设X中的任意样本、上对第i类的隶属度为1曲其中;minW) = ( J 3 j模糊聚类的聚类准则为：上川(1)式中m 口，00为加权指数，d法为第k个样本看到第i类聚类中心的距离,定义为：(dj 二(2)其中，A为对称矩阵，当A=I时为欧氏距离。根据拉格朗日乘法求得满足(1)苦(人尸(%r%式的必要条件为:叭技台(4)模糊C 一均值算法FCM ( Fuzzy C-means)ffi述如下：a.初始化隶属度矩阵。b.根据(4)式计算聚类中心。c.根据(2)计算%d.根据(3)式重新计算隶属度。e.重复步骤b-d,直到新的聚类中心与上次得到的聚类中心的距离差在允许的范 围内为止。4.1.2 交通流拥挤程度分类交通流拥挤程度是一个模糊的概念，需要综合考虑不同的路面宽度、交通流 量、等待队列长度、不同的时段等因素，来综合评价交通流拥挤程度，这些因素 也是一个样本数据的基本属性。通过对不同路口和不同时段的这些信息进行采 集，采用上面的模糊聚类方法，对
