《Web数据挖掘在电子商务中的应用》由会员分享，可在线阅读，更多相关《Web数据挖掘在电子商务中的应用（15页珍藏版）》请在金锄头文库上搜索。
1、结课论文课程名称：数据仓库与数据挖掘授课教师：论文题目：Web数据挖掘在电子商务中的应用学生姓名：_学 号：北京交通大学2022年4月Web数据挖掘在电子商务中的应用摘要：大数据时代已然来临，在各种信息数据都呈现出爆炸式增长的今天，不同规 模的电商都在奋力追赶“大数据”发展的速率和步伐。一个全新的以信息为中心，以洞察 力为导向的电商生存环境已经出现，而智慧的分析能力成为在该环境下成功的关键，以大 数据为导向的效率提升，客户需求快速响应，风险把控和商业模式优化，都将成为提高商 业流转速率的利器，数据挖掘和分析领域技术型、产品型的创业公司将有可能成为全新的 创业机会和投资热点。数据挖掘在电子商务的
2、发展中占有越来越重要的作用，本文重点论 述 Web 数据挖掘在电子商务的相关应用。关键字：Web数据挖掘，电子商务，内容挖掘随着Internet的快速发展，互联网上的各种信息飞速增长，电子商务已经成为当代经 济不可或缺的重要组成部分。面对电子商务网站产生的海量信息和数据，通过Web数据挖 掘技术可以从这个庞大的信息数据集合中提取有用的信息，找到提供数据管理和使用的平 台；可以合理的组织网站建设，更加人性化的给用户提供服务；可以从无限量的网络信息2中迅速找到用户最为需求的信息，从而更好的有针对性的销售自己的产品。电子商务中的 Web 数据挖掘，主要是从其中挖掘出有效的、新颖的、有价值的，潜在的有
3、用的市场信 息，从而进行正确的商业决策。1 概述11Web数据挖掘技术Web数据挖掘技术是随着电子商务的发展应运而生的技术，是指从海量的Web信息仓 库中进行浏览的相关数据中发现潜在有用的、隐含的模式或关联信息。Web数据挖掘技术 在电子商务中有广泛的应用，能对客户的访问方式、订单详情等进行挖掘，获取其购买行 为特点，跟踪发现用户的访问习惯，以此来改进网页设计机构，实现智能化、个性化的用 户界面。 112Web数据挖掘的分类Web挖掘通常基于Web数据类型的分类进行划分。Web数据类型主要包含三种：一1张娅妮.Web数据挖掘技术在电子商务中的应用J.福建电脑,2013, 29(5): 138-
4、139,149类是Web内容数据，例如一般的Web文档；二类是Web结构数据，例如在Web页面类存在的超链接；最后一类是Web日志，其中主要包含了用户的访问信息。Web挖掘分为Web内容挖掘、Web结构挖掘、Web日志挖掘，如图1-1。21. Web 内容挖掘Web内容挖掘指从Web文档、内容、数据及其描述中发现有用的知识。Web文档文 件挖掘以及基于概念索引或Agent技术的资源搜索也归于此类。Web信息资源类型众多， 目前www信息资源已经成为网络信息资源的主体，然而除了大量的人们可以直接从网上 抓取、建立索引、实现查询服务的资源之外，相当一部分信息是隐藏着的据（如由用户的 提问而动态生成
5、的结果，存在于数据库系统中的数据，或是某些私人数据）无法被索引， 从而无法提供对它们有效的检索方式，这就迫使我们把这些内容挖掘出来。若从信息资源 的表现形式来看，Web信息内容是由文本、图像、音频、视频、多媒体和其他各种类型的 数据组成的，因此，Web内容挖掘也是一种针对多媒体数据的挖掘。2. Web 结构挖掘Web结构挖掘是指从Web的组织结构链接关系中推导知识的过程。大量的Web超链 接信息提供了关于Web页面内容相关性、质量和结果方面的信息，反映了文档之间的超链凋联.面向电子商务的WEB数据挖掘研究D.湖南:中南大学,2011. 接结构进行分析，发现网页的结构有用的模式，找出权威页面。它
6、又可以分为外部结构挖掘、内部结构挖掘和URL挖掘。3. Web 使用挖掘Web使用挖掘，也称为Web日志挖掘。它通过分析客户使用浏览器浏览的信息和页面 链接信息记录，来发现用户的访问模式，分析它们的规律。进而可以识别用户的需求和兴 趣，改进站点界面结构，增强其服务竞争力，为用户提供实用的13Web数据挖掘的基本过程电子商务中的 Web 数据挖掘过程主要有以下几个阶段。1. 准备数据准备数据在Web数据挖掘过程中主要分为有目的的收集数据、选择数据和预处理数据 等三个阶段。Web数据挖掘通过收集Web服务器端的所有用户的访问行为数据，对其进行 选择和处理，去掉无用的数据。预处理数据，是为了除去We
7、b目志文件中与所需数据重复 的冗余性数据和模糊性数据。2. 数据预处理由于本地缓存、代理服务器和防火墙的影响，Web日志中的数据通常不完整以及不一3致，直接进行数据挖掘较困难，因此，必须进行数据预处理。即从Web数据中剔除无用信 息和将信息进行必要的整理。主要包括以下步骤： 数据净化：删除数据冗余项，确定用户真实访问意图相关的记录。 用户识别：识别出每一个用户变得很复杂，一般通过相同IP在一定时间范围进行 识别，误差较大。目前已有一些精确识别一个用户的方法，如利用Cookie、让用 户进行注册等。 会话识别：将用户在一段时间内的请求页面分解成能获取用户的访问路径、数量 等信息。 路径补充：如果
8、有重要的访问信息被遗漏而没有被日志记录，填充这些遗失的页 面增加到会话中。3. 模式分析模式分析的基础数据是订单数据库和Web服务器日志。模式分析器运用数据挖掘技术 分析Web服务器日志数据，可以获得物品相对于页面、相对于用户聚类的权值模式，以及 用户聚类的模式。从对用户购买记录的数据库分析，可以找到物品在被购买时，它们之间 存在的关联相似模式。模式分析器除了分析产生模式外，还需要进行模式的更新，以保证 模式的实效性。2 电子商务与数据挖掘21电子商务中Web数据挖掘技术1. 路径分析技术用路径分析技术进行Web数据挖掘就是通过对Web服务器的日志文件中判定最频繁 访问的路径，及其它的有关路径
9、的信息。利用这些信息，可以改进页面及网站的设计结 构。2. 关联规则挖掘技术 关联规则挖掘技术主要用于找到用户访问对网站上各种文件之间访问的相互联系与规则。利用关联模型，可以更好地组织站点内容，实施有效合理的市场策略。常用的算法是 Aprior 算法。3. 序列模式挖掘技术序列模式挖掘是指发现事务序列之间的模式，即一组数据项的出现在时间顺序上伴随产生另外一组数据项。在Web服务器日志中记录的是每个用户在一段时间范围内的访问情 况。因此，与该用户事务相关联的时间戳是在指在数据项处理过程中确定并从属于用户事 务的一段时间间隔。该技术就是要挖掘出交易集之间的有时间序列的模式。在特定网站服 务器日志里
10、，特定用户的访问是以一段时间为单位记载的。在某一指定的时问段内，分析 其产生的数据信息，可以帮助管理者找出其感兴趣的规则，例如有助于帮助商家印证其产 品所处的生命周期阶段，常用的技术是周期分析法。4. 分类分析技术 数据分类是将数据项的某些属性的值进行划分的。数据分类技术很多，常用的有贝叶斯分类和贝叶斯网络、遗传算法、判定树归纳等，近年来较流行的是神经网络分类分析技 术。5. 聚类技术 数据聚类技术是一个将物理或者抽象对象的集合分组成由类似的对象组成的多个类或簇的过程。聚类分析能作为一个独立的工具来获得数据分布的情况，观察每个簇的特点， 集中对某些簇做进一步的分析。常用的聚类算法大体上可以划分
11、为几类：基于模型方法、基于网格方法、基于密度方法、基于层次方法、基于划分方法等。322Web数据挖掘技术在电子商务中的应用1. 制定优质个性化服务为顾客提供优质的个性化服务，一方面能使顾客避免“信息选择迷失”的困境，另一 方面还能拉近企业和客户的距离，使其关系变得友好。通过对客户有目的访问信息的挖 掘，就能知道客户的购买行为特征，从而识别客户的兴趣、需求、满意度、忠实度，动态 地调整Web页面，以满足客户的需要。在客户交易集之间有一个时间序列集，可运用数据 挖掘中的序列模式发现技术来对其进行挖掘。2. 优化站点设计在超市里把有联系的物品摆放在一起有助于销售， Web 站点结构安排类似于超市，页
12、 面的内容安排和链接可以按大多数访问者的浏览模式进行设计；对密切联系的网页之间增 加链接，方便用户使用；把重要的商品信息放在最频繁的访问页面中，增强对顾客的吸引 力，提高销售量。3. 聚类客户5通过分类把具有相似浏览行为的客户聚成一类，并分析同类客户的相同特征，可以帮 -助企业更多的了解客户，向客户提供更适合更全面更满意的服务。如有一些客户经常浏览 “玩具”，“奶粉”，经过分析将这些客户聚类为一组，他们可能是刚生有小孩的客户。Web 应及时调整页面及页面内容，针对不同的分类客户进行不同的广告宣传和产品介 绍等，这样，商务活动能够在一定程度上分辨出客户的行为模式，采取与之对应的营销方 案，使电子
13、商务活动更具现实意义。4. 广告效益评价利用Web数据挖掘对大量消费行为进行综合分析，可精确地评价各种广告手段的效益 增长率，并设计出最佳的商品广告宣传组合方案，根据关心某产品的访问者的访问模式来 决定广告的位置，增加广告针对性，提高广告的收益。5. 网络安全电子商务活动中网络欺诈现象屡见不鲜，通过对电子银行，网上商店交易的用户日志 进行分析，可有效防范非法密码获取，黑客攻击，恶意诈骗。3张娅妮.Web数据挖掘技术在电子商务中的应用J.福建电脑,2013, 29(5): 138-139,14923电子商务中Web数据挖掘特点从前述的基于电子商务Web数据挖掘的数据源可以看出，面向电子商务Web
14、数据挖 掘相比于传统的 Web 挖掘具有自身的特点，主要表现在三大方面。41更方便的数据准备。电子商务本身具有系统性，它在应用过程中所收集到的数据通 常就储存在电子商务系统的数据库中。用户能非常方便的收集到这些原数据，从而简化了 数据挖掘准备阶段的工作。2挖掘的目的在于自身的改进。在电子商务领域中，数据挖掘的最终目的是获得消费 者的认可，“消费者所想”是电子商务系统改进的方向，提高浏览量，增加顾客忠诚度。例 如，为消费者做出个性化推荐，提供给用户的总是感兴趣的信息。3强大的客户关系管理。大多数的商业站点已经具备了“会员注册”功能，实际上， 在传统的企业经营模式中，会员对于企业的生存与发展具有极
15、为重要的意义。在网络时 代， INTERNET 为企业和消费者之间搭建了一个“非常方便”的信息沟通桥梁。越来越多的 企业和消费者都更加重视这种沟通，通过挖掘，对客户进行区分和聚类，更有利于客户关 系的管理。从以上三方面可以看出，面向电子商务的Web挖掘的数据源虽然相对容易获取，但是-由于数据类型的多样性，待设计的数据模型更为复杂，同时由于电子商务处于INTERNET大 环境中，系统必须适应网络环境。3 Web 数据挖掘关键问题面向电子商务的Web挖掘与传统的面向单个数据仓库的数据挖掘相比要复杂许多，从 前面的分析我们可以了解到，面向电子商务Web挖掘的数据呈现半结构化的特点，数据的 结构没有严格的模式，数据种类多样，包含文本、声音、图像、动画、视频等，在挖掘过 程中，这些内容以 html 文本的形式存在，无法区分数据确切类型，主要表现为以下两个方 面。1. 数据库异构从数据库角度出发，面向电子商务的Web挖掘的数据即是一个大型数据库，每一个网 站看成是一个数据源，由于网站本身没有固定的结构，网站实际上是异构的，在进行Web 挖掘之前，首先要集成各个站点的异构数据，为用户提供有统一的视图，否则无法从中进 行挖掘。其次，还要解决数据查询问题，如果无法得到所需数据，对其进行处理、分析、碉联.面向电子商务的WEB数据挖掘研究D.湖南:中南大学,2011. 集成就无法实现。2. 数据结
