《多指标面板数据的聚类分析研究.doc》由会员分享，可在线阅读，更多相关《多指标面板数据的聚类分析研究.doc（49页珍藏版）》请在金锄头文库上搜索。
1、管理信息系统课程小组作业多指标面板数据的聚类分析研究以我国15个副省级城市综合竞争力评价为例小组组长：XXXXX小组成员：XXXXXXXXXX完成时间： 指导教师： 徐德华目 录1 选题背景与意义42 聚类分析与聚类算法52.1 聚类分析52.1.1 相关概念与定义52.1.2 相似度计量模型52.2 聚类算法72.2.1 传统聚类算法及其比较72.2.2 扩展聚类算法133 面板数据及其聚类方法153.1 面板数据概述153.1.1 概念及发展153.1.2 面板数据的特点153.1.3 面板数据的分析处理方法163.2 单指标面板数据的数据形式和聚类分析方法163.3 多指标面板数据的数据
2、形式和聚类分析方法173.3.1 多指标面板数据的数据形式173.3.2 常见的多指标面板数据聚类分析方法174 实证研究234.1 城市竞争力研究综述234.1.1 城市竞争力内涵研究综述244.1.2 城市竞争力模型研究综述264.1.3 城市竞争力评价体系研究综述294.2 城市竞争力指标选取304.2.1 城市竞争力评价指标选取的原则304.2.2 我国15个副省级城市竞争力评价指标体系314.3 聚类分析324.3.1 基于主成分分析的聚类324.3.2 基于指标距离求和的聚类384.3.2 基于概率连接函数的聚类404.4 结果分析425 结论与展望445.1 结论445.2 不足
3、与展望44主要参考文献45附录46附录146附录246附录3481 选题背景与意义面板数据（Panel Data）作为截面数据与时间序列数据的组合数据集，同时体现了空间维度和时间维度的数字特征，克服了时间序列数据多重共线性、数据量不足等困扰，逐渐发展成为现代计量经济学领域统计分析与统计研究的重要方法和工具。运用多元统计方法对面板数据进行聚类分析是统计学的新兴研究领域。聚类分析作为一种数据挖掘手段，已被广泛地应用在许多领域中，包括模式识别、数据分析、图像处理、市场研究、管理评价等。传统的聚类分析对象一般是固定时期的不同个体截面数据，二维数据聚类分析往往不能满足人们分析问题的需要，而且基于单一的固
4、定时期的聚类分析往往抹杀了指标的动态发展趋势及其发展状态，无法预测其未来发展轨迹和所属类别。例如：在城市竞争力聚类分析中，竞争力存在着随时间动态变化过程，仅仅固定在某一年度的截面数据分析就显得有失偏颇，如果根据一个较长时期的面板数据进行聚类分析则显得较为合理。城市竞争力是国内近年来正在兴起的一个新课题，目前处于起步研究阶段，还未形成公认的完整体系。经济全球化，知识经济时代的到来，促使我国城市必须进行转型改革，走上新型的发展道路。我国现阶段的城市要从建设城市转向管理和经营城市，就是要重塑城市资源整合和配置资源机制，提高城市对社会资源的吸引力和创造社会财富的能力，从根本上就是提高城市竞争力。城市竞
5、争力评价是典型的综合评价，在不同的评价体系下有不同的指标指标，而且必须考虑时间因素，因此相关的数据就是典型的多指标面板数据。1994年5月，经中央机构编制委员会第6次会议通过，决定将原来的14个计划单列市和杭州、济南2市正式确定为副省级市（其中，重庆市97年恢复直辖）。将这15个城市定为副省级市，是中央对于区域经济发展的重要决策，加强了省级机构统筹规划和协调的地位和作用，不仅有利于加快这些城市的经济与社会发展，而且有利于更好的发挥这些中心城市的辐射作用。在国家政策层面和经济决策权待遇同等的情况下，经过20年，这15个副省级城市的发展出现了很大差异，城市竞争力也日趋呈现差异化。鉴于此，我们小组决
6、定利用多指标面板数据的聚类方法对此进行探析，一方面介绍面板数据的一些处理思路，另一方面通过聚类寻找15个城市类别之间的差异，以提出相关建议。2 聚类分析与聚类算法2.1 聚类分析2.1.1 相关概念与定义聚类分析（Cluster Analysis）又称群分析，是根据“物以类聚”的道理，对样品或指标进行分类的一种方法，其目的是将有限个无标注数据划分到有限个离散的组或类中，发现数据隐藏的内部结构。聚类分析是数据挖掘的一种重要手段，是一种无监督的模式分类方法，在分类时只依赖对象自身所具有的属性来区分对象之间的相似程度。聚类分析作为一种有效的数据分析方法被广泛应用于数据挖掘、机器学习、图像分割、语音识
7、别、生物信息处理等方面。给定一个对象集合，假设每个对象含有 m 个特征，在此用向量的方式来表示对象的特征，聚类分析的过程就是根据对象的特征来分析对象之间的相似程度，并根据某种聚类决策准则来获得聚类结果。聚类的结果用表示，则聚类结果满足以下条件：;。模糊聚类的结果没有上面的约束条件，模糊聚类给出的结果只是对象隶属于每个类的程度。通常聚类分析一般包含四个部分：(1)特征获取与指标选择；(2)计算相似度；(3)聚类分组；(4)结果分析。2.1.2 相似度计量模型给定数据矩阵，通常需要通过某种相似度计算模型来计算相似度矩阵。相似性计算模型一般需满足如下三个条件：(1)非负性：对于任两个对象x和y,有；
8、 (2)对称性：对于任两个对象x和y,有； (3)。 相似度的计算依赖于数据的特性，针对不同的数据类型，目前有许多相似度的计算公式，下面列出一些常见的计算公式：（1）数值型数据的相似度数值型数据的相似度通常利用数据间的距离来构造，可以利用公式将距离转化为相似度，其中max_d表示集中数据之间的最大距离。常见的距离公式有：u 闵可夫斯基（Minkowski）距离：u 切比雪夫(Chebyshev)距离：u 马氏(Mahalanobis)距离：其中，表示取大运算。闵可夫斯基距离是一个一般化的距离度量，当p=1是为曼哈顿距离，当p=2是为欧式距离。（2）二元数据的相似度二元数据是由二元变量构成，二元
9、变量只能有两种取值状态：0或1，其中0表示该特征为空，l表示该特征存在。如果二元变量的两个状态是同等价值的具有同样的权重称为对称的二元变量，否则称为不对称的二元变量。对于对称的二元变量评价两个对象和之间相似度的最著名的系数是简单匹配系数：，其中r为x和y取值不相同的属性的个数，s为x和y取值相同的属性的个数。对于非对称的二元变量，常用系数来表示，其中最常用的是Jacard系数。下面给出常见系数的计算公式，设为二元数据，常用0-0匹配表示xi=0且yi=0，同理可用0-1、1-0及1-1匹配表示xi及yi相应的取值，其中fij表示集合的基数，。u Jacard系数 u Rogers-Tanimo
10、to系数 u Sokal-Sneath-a系数 （3）其他相似度u 余弦相似度 u 相关系数构成的相似度 2.2 聚类算法2.2.1 传统聚类算法及其比较聚类分析的核心就是聚类算法，在不断的发展过程中演化出了多种经典的聚类算法，在现有文献中，传统的聚类算法主要有几种类型：划分方法、层次方法、密度方法、模型方法和网格方法。（1）基于划分的方法对于给定的包含n个数据对象的数据库，通常基于划分的方法要求用户给定构建数据的最终划分数目k，通过采用目标函数最小化策略，将数据分成k个簇。可以看出，算法将整个数据集划分为k个簇，同时满足以下两个条件：每个簇至少包含一个数据对象；每个数据对象必须属于且唯一的属
11、于一个簇。但在某些模糊划分技术中，如在FCM算法中，第二个要求可以放宽。给定划分数目k，基于划分的方法首先创建一个初始划分，通常采用的方法是随机选取k个数据对象作为初始聚类中心点，然后采用一种迭代的重定位技术,尝试通过对象在划分间移动来改进划分，采用的准则是：在同一个簇中的数据对象尽可能相似，不同的簇中的数据对象尽可能相异。根据对象在划分之间移动的衡量参数和簇的表示方法不同，基于划分的方法主要包括有K-Means法，K-中心点算法以及对他们的扩展。（2）基于层次的方法层次的方法按数据分层建立簇，形成一棵以簇为节点的树。根据层次如何形成，层次的方法可以分为凝聚的和分裂的。凝聚的方法，也称自底向上
12、的方法，该方法从数据点作为个体簇开始，每一步合并两个最接近的簇，直到所有的簇合并为一个(层次的最上层)，或者达到一个终止的条件。在这里，判断最接近的簇需要簇的临近性定义。大多数的层次聚类算法都属于这类。分裂的方法，也称为自顶向下的方法，它与凝聚的方法正好相反，该方法从包含所有点的一个簇开始，每一步分裂一个簇，最终每个对象在单独的一个簇中，或者达到一个终止条件，比如达到某个希望的簇数目，或者两个最近的簇之间的距离超过了某个闭值。在这种情况下，我们需要确定每一步分裂哪一个簇，以及如何分裂。无论是凝聚算法还是分裂算法都要采用一个划分准则，以便判定簇之间的相似性或相异性，五个广泛采用的簇间距离度量方法
13、如下：.最小(单链)距离： .最大(全链)距离：.平均值(质心)距离：，其中、是的质心.平均(组平均)距离：.中心点距离：，其中、是的中心点。这里表示两个对象和之间的距离，是簇的平均值(质心)，是簇的中心点，而是簇中对象的数目。如图2.1所示，凝聚的层次算法和分裂的层次算法在包含五个对象的数据集合上的处理过程。凝聚的方法将每个对象看作一个簇，然后将这些簇一步一步进行合并。图中簇a和b相似性最高首先进行合并，其次是d和e，再de合并的簇与簇c合并，最终与a，b组成的簇合并，合并过程反复进行直到最终合并为一个簇。而在分裂方法处理的过程中，初始时所有对象都放到一个簇中，根据数据对象之间的相异性将该簇
14、分裂，簇的分裂过程反复进行，直到最终每个簇中只包含一个对象。图2.1 凝聚和分裂层次聚类算法层次聚类算法可以在不同粒度水平上对数据进行探测，而且很容易实现相似度量或距离度量。但是层次聚类算法由于合并或分裂簇的操作不可逆，也给聚类结果带来不准确性。有一些技术试图克服“合并是最终的”这一限制。一种方法试图通过移动树的分支以改善全局目标函数。另一种方法使用划分聚类技术来创建许多小簇，然后从这些小簇出发进行层次聚类。凝聚层次聚类技术使用各种标准，在每一步局部地确定哪些簇应当合并(或分裂，对于分裂方法)。这种方法产生的聚类算法避开了解决困难的组合优化问题。这样的方法没有很难确定初始点和局部最小问题。但是
15、，在很多情况下，的时间复杂度和的空间复杂度阻碍了它们的应用。通常在解决实际聚类问题时把层次方法与其他方法结合起来。改进层次方法聚类质量的一个很有前途的方向，是把层次聚类和其他聚类方法相结合起来，形成多阶段的聚类，改善聚类质量。这类方法包括BIRCH和CURE算法等。BIRCH算法利用层次方法进行平衡迭代归约和聚类。它引入了两个概念：聚类特征和聚类特征树。聚类特征是一个反映类内对象信息的三元组，包含类内数据点的个数、线性和以及平方和。它首先将对象划分成树形结构，然后采用其他聚类算法对聚类结果求精。BIRCH算法采用多阶段聚类技术，对数据集进行一遍扫描后生成初步簇的CF树，再经过一遍或多遍扫描改进CF树的质量。CF树建好后，可以使用任何聚类算法，如典型的划分方法，对其叶节点进行聚类。BIR
