《基于网络日志互联网用户行为的分析》由会员分享，可在线阅读，更多相关《基于网络日志互联网用户行为的分析（55页珍藏版）》请在金锄头文库上搜索。
1、类号学号M201170005学校代码10487密级硕士学位论文基于网络日志的互联网用户行为分析学 位 申 请 人 ： 杨清龙学 科 专 业 ： 应用统计指 导 教 师 ： 胡晓山 副教授答 辩 日 期 ： 2013 年 5 月 21 日A Thesis Submitted in Partial Fulfillment of the Requirementsfor the Degree for the Master of EngineeringInternet User Behavior Analysis Based on WebLogCandidateMajorSupervisor: Yang
2、 Qinglong: Applied Statistics: Assoc. Prof. Hu XiaoshanHuazhong University of Science j 1, 2,., p 是由 P 个属性特征组成的 N 个独立样本。 dii 表示样本 i 与 i 之间的距离，通常用欧式距离 j ( x ij xi j )2 度量。假设我们将数据聚成 K 个簇，如，我们可能采用基于欧式距离的 K-means 距离或者层次聚类，使用 C( X tr , k ) 表示聚类操作。现在，当我们将聚类操作应用到训练样本时，每对观测值是否落入同一个类中。DC(.), X tr 为 n n 的矩阵，如
3、果样本 i 和 i 落入到同一个类中，第 ii 个元素DC(.), Xtr ii 1，否则为 0。在一般情况下，聚类 C(.) 不需要来自 X tr 。例如，我们对数据集 Y 使用 K-means 算法，将样本空间分割成 K 个多边形区域。如果我们用 C(Y , k ) 表示聚类，如果 X tr 的样本 i 和 i 落入到同一个多边形区域 C(Y , k ) ，则17 DC( xtr te ii ps(k ) minkj kj1) ii Akj华 中 科 技 大 学 硕 士 学 位 论 文DC(.), X tr ii 1。其主要思想归纳为：(a) 将测试样本聚成 K 个簇；(b) 将训练样本聚
4、成 K 个簇；(c) 度量用训练样本的质心去预测在测试样本集中的协同成员关系。对于每一对被分配到相同的测试集群的测试样本，根据训练集的质心确定它们是否也被分配到相同的簇。对于簇的候选数 K， Ak1, Ak 2 ,., Akk 是测试样本集在簇 1,2，,k 中的索引。nk1, nk 2 ,., nkk 是这些簇中样本的个数。则定义集群 C(, k ) 的“预测强度”为：1, k ), X 1 jk n (n对于每个测试集的簇，计算样本组对在测试集的簇中，同时也被训练样本集的质心分配到同一个簇中的比例。而预测强度是选择在 K 测试集群量中最低的。(2) 预测强度的计算先考虑测试集 Test 中
5、的每一个类 1,2，k，分别有 n _ k1, n _ k 2,., n _ kk 样本个数。将它们两两配对有n _ ki(n _ ki 1)2种，接下来就考察每一种配对下，这二个样本是否在训练集中也被分为同一簇中；计算出那些在 Test 中也被分在同一组的配对所占的比例，然后重复这个过程，对所有簇计算出相应的值；最后对这 k 个数值取最小值，就是当前聚类数 k 下的预测强度。假设一批样本，其自身聚类的编号如表 2-2：表 2-2x11x21x31x41x51x61x72x82x92x102被判别的编号如表 2-3：18x1x2x3x4x5x6x110110x20110x3001x410x50
6、x6x7x8x9x10x7110x810x90x10华 中 科 技 大 学 硕 士 学 位 论 文表 2-3x11x21x33x41x51x63x72x82x92x101则对于自身聚类中的第一个类，得到表 2-4 所示矩阵：表 2-4如果两个点在判别编号中是相同的，就记 1，否则为 0，最后得到判别比例为7/15。同理可知，另一个类别的矩阵为表 2-5：表 2-5由 表 2-5 得 到 判 别 比 例 为 3/6=1/2。 于 是 当 前 聚 为 2 个 类 的 预 测 强 度 是min(7/15,1/2)=7/15，即：预测强度为 7/15。19华 中 科 技 大 学 硕 士 学 位 论 文
7、3我国互联网用户上网行为互联网于 1969 年起源于美国，是美军在 ARPA(阿帕网)制定的协定下将美国的四所高校的四台主要的计算机连接起来。从此，开启了互联网发展的新时代，而互联网的出现也不断影响着人们的工作、学习和生活，并不断深入。1994 年中国正式接入互联网，中国经历了互联网发展的新历程。中国互联网在经历追随、参与后，赢了了互联网发展的引领地位。进去 21 世纪后，美国在世界上互联网用户数量上的老大地位已经逐步被中国所取代。在网上信息资源、用户规模、互联网产业规模、互联网企业的发展和外资投资额都不断吸引着着全球投资者 。种种的变化也让人们感受着互联网发展带来的巨大变化。随着互联网的迅速
8、发展，也推动着我国信息化的快速发展。3.1 我国互联网发展现状21截至 2012 年 12 月底，我国的互联网普及率已经达到 42.1%，而网民数量有 5.64亿之多。移动上网业务也不断发展和壮大。2012 年，我国手机用户规模达到 4.2 亿，与 2011 年底相比，人数增加了近 6440 万人，网民中使用手机上网的用户由去年年底的 69.3%上升至 74.5%。2012 年中国 31 个省市的网民规模都有不同程度的增长 ，其中江西、安徽、广西、贵州、河南等省份的 Internet 普及率很低，但是网民的增长速度却很快。相反的，北京、上海、广东、深圳等省市的网民普及率较高，但网民增长速度缓慢
9、。2012年我国互联网用户的应用情况基本保持着去年的发展趋势。即时通信作为第一大上网应用，网民 的使用率仍在不断攀升 ；电子商务类的应用仍 处于高度发展的状态；电子邮件、论坛/BBS等逐步被淘汰，应用使用率继续走低。(1) 网民增长速度明显减缓2011年前两季度，我国网民的数量增加将近2770万人，半年增长率为6.1%。但是与去年同期相比，增长的数量小于去年的人数。从2010年开始，网民增长速度开始放缓，目前表现出了更加明显的减缓趋势。20华 中 科 技 大 学 硕 士 学 位 论 文(2) 微博用户继续增长，用户逐渐趋于移动化2012年，我国微博用户数量达到了3.09亿，较2011年底增长了
10、5873万人。微博疯狂扩张的时代已经结束 ，微信的的发展给微博 带来了挑战。但是微博 的增幅仍高达23.5%左右，并且在其使用率提升到了将近一半。大部分的用户对微博的访问和发布行为都是通过手机客户端进行的，手机微博的应用成为了亮点。传统的PC上网将逐步向移动终端发展。(3) 网上购物和团购业务仍保持较高增长随着电子商务的迅速发 展及网上支付系统的不 断完善，网上购物行为 也不断 增加。与传统的购物方式 相比，电子商务具有诸 多优势，如： 操作简单 、快捷、货到付款、价格实惠等。当 下，城市生活里的生活 节奏越来越快，人们更 愿意选择网上购物，而不是到实体店进行购买商品。2012年，我国网上购物
11、规模达到2.42亿人，这一数字仍在不断被刷新。(4) 手机端电子商务类应用使用率整体大幅上涨由于手机的移动性较强，电子商务类应用在手机端得以迅速的发展。相比2011年，手机网民使用手机进行网上购物的比例增长了6.6个百分点，用户量是上年底的2.36倍；此外，手机团购用户在手机网民中占比较上年底提升1.7个百分点，手机在线支付提升4.6个百分点，手机网上银行提升4.7个百分点，这三类移动应用的用户规模增速均超过了80%。3.2 互联网用户行为的概念与分类3.2.1 互联网用户行为网络用户（网民）：中国互联网络信息中心（CNNIC）将网络用户定义为平均每周使用互联网至少一个小时的中国公民21。网络
12、用户行为22是指主机能在网络上产生流量的行为。如 QQ 聊天、游戏、访问 Web 站点，BT 下载、观看视频及音乐等都会在网络上产生流量，因此都是网络用户行为。21华 中 科 技 大 学 硕 士 学 位 论 文用户行为分析的任务是在获得用户访问量基本数据的情况下，对有关数据进行清洗、统计、挖掘，从中发现用户上网行为的规律，为企业和政府的制定相关政策提供事实依据。3.2.2网络用户行为分类27,28从应用角度对网络用户行为进行分类，可将网络用户行为分为四大类：信息获取、商务交易、交流沟通、网络娱乐。(1) 交流沟通：互联网的一个核心功能就是实现交流互通。由于互联网本身的普及、网络交流方式的多样性
13、、网络互通的无时间、地点、距离约束，使得网上交流沟通成为了我国互联网的第一上网应用。(2) 信息获取：由于互联网资源的共享性和开放性特点，互联网成为了重要的信息来源地。而搜索引擎作为互联网的基础应用，是网民获取信息的重要工具之一 ，其使用率自 2010 年后保持在 80%左右水平，稳居互联网应用第二的位置。整体来看，搜索引擎已进入稳定发展阶段，搜索用户市场逐渐从单一用户规模增长向用户体验提升发展。2012 年，新的企业的加入极大刺激了已有搜索引擎公司，也带动了搜索市场的整体发展。一方面，搜索行业加强自律，对搜索结果进行清理和整顿，减少了虚假信息、不安全链接对用户的干扰，提升了用户使用安全性；另
14、一方面，搜索引擎公司加强技术投入，提高搜索质量，并逐渐融入个性化和社交化等元素，试图智能化地呈现搜索结果以提升用户搜索体验。(3) 商务交易：在商务交易的应用方面，主要包含网络购物、团购、网上支付、旅游预订、网上银行、网上支付等。由于互联网的方便、快捷、高效等特点，网上消 费 与支 付 行为 越来越 被 消费 者 所接 受。同 时 线上 消 费的 生活服 务 类型 不 断的 拓宽，交易规模也持续增大，也极大的带动了消费者网上支付的普及。(4) 网络娱乐：网络娱乐主要包括网络游戏、网络视频、网络文学、在线音乐等。网络的娱乐性是网络的发展而延伸和扩展，是网络功能的基础。3.3 数据挖掘在互联网用户
15、行为分析中的应用伴随着计算机信息技术的发展，让企业积累了海量的用户行为数据。这些海量22华 中 科 技 大 学 硕 士 学 位 论 文数据中包含了大量的用户行为信息，它们能够真实、客观地反映用户行为活动。基 于 数 掘 挖 掘的 用 户行 为 分 析 的 目的 是 从用 户 的 行 为 数据 中 找到 个 性 和 共 性的东西。找出用户行为的规律，发现用户的行为模式，了解用户的兴趣、需求、能力等信息，为企业提供决策支持，从而为用户提供更好的服务。(1) 产品设计与营销。要做好的产品设计，就要不断的听取用户意见，不断的调研用户需求并进行分析，得到最适合和满足用户需求和产品特性。除了直接的用户调研，数据分析得到的结果支持是很重要的一个渠道。因为有的时候，用户也不知道他到底想要什么，但是从用户的行为中，我们或许可以分析出来他不了解的自己。比如通过对微博用户分析，得知用户在每天的四个时间点：早起去上班的路上 、午饭时间、晚饭时间、 睡觉前 是最活跃的。 因此，掌握了这些用户 行为，企业就可以在对应的时间段做某些针对性的推广和营销等。(2) 产品客户群定位或细分。并不是所有的产品都是服务于全网用户的，即使对于细分产品，也是有更细致和精确的用户特性可以供提炼分析。除了前文用户资料系统之外，用户行为是更重要的一个分析手段。比如对于电商网站，通过对用户的消费行为和贡献行为产生的数据进行分析，可以
