《R语言数据挖掘特选材料》由会员分享，可在线阅读，更多相关《R语言数据挖掘特选材料（21页珍藏版）》请在金锄头文库上搜索。
1、 R语言数据挖掘论文题目：数据挖掘实战之网站智能推荐服务 指导老师: 张 敏 小组成员： 周犬义 王宁 数据挖掘实战之网站智能推荐服务一、背景与挖掘目标伴随着计算机技术、通信技术的日益成熟和广泛应用，互联网自90年代初开始得到迅猛发展，至今虽然只有短短几十年的时间，但它已经发展成为现今信息时代人类生活中不可或缺的重要组成部分，并成为全球范围内传播信息的主要渠道。随之而来的是互联网上信息资源越来越丰富，人们要在浩如烟海的“混乱的”互联网信息世界中找到自己真正感兴趣信息却存在很大的困难，具体表现在：用户不知道如何贴切表达真正想要的网上资源的需求，也不知道如何去更准确有效地寻找，即所谓的 “信息迷失
2、”问题；和对收到的或已经下载的大量无关的信息难以消化，即所谓的“信息过载”问题。虽然我们可以借助于搜索引擎来检索Web上的信息，但仍不能满足不同背景、不同目的和不同时期的查询要求，因为大多数搜索引擎缺少主动性，没有考虑用户的兴趣偏好和用户的不同，无法有效地解决信息过载和信息迷失的问题。为了适应用户不断增长的信息需求，有效地解决信息过载和信息迷失给人们带来的种种问题，研究人员纷纷从人工智能中寻找突破口。在许多探索性研究中，个性化推荐服务作为一种崭新的智能信息服务方式，应用前景广泛，十分引人注目。与搜索引擎不同，推荐系统并不需要用户提供明确的需求，而是通过分析用户的历史行为，根据用户的行为主动推荐
3、能够满足他们兴趣和需求的信息。因此，对于用户而言推荐系统和搜索引擎是两个互补的工具。搜索引擎满足有明确目的的用户需求，而推荐系统能够帮助用户发现感兴趣的内容。因此，在电子商务领域中推荐技术可以起到以下作用：第一，帮助用户发现其感兴趣的物品，节省用户时间、提升用户体验；第二，提高用户对电子商务网站的忠诚度，如果推荐系统能够准确地发现用户的兴趣点，并将合适的资源推荐给用户，用户就会对该电子商务网站产生依赖，从而建立稳定的企业忠实顾客群，提高用户满意度。本案例研究的对象是泰迪智能科技有限公司的泰迪杯竞赛网站，泰迪科技是一家专业从事大数据挖掘应用研发、咨询和培训服务的高科技企业。泰迪杯竞赛网致力于为用
4、户提供丰富的泰迪杯竞赛信息、数据挖掘培训咨询服务，并为参赛者提供了往届优秀作品作为参考，为高校提供了丰富的教学资源，如：案例教程、教学视频、教学书籍、建模工具等。随着网站量增大，其数据信息量也在大幅度增长。用户在面对大量信息时无法及时从中获取自己需要的信息，对信息的使用效率越来越低。这种浏览大量无关信息的过程，造成了用户需要花费大量的时间才能找到自己需要的信息。为了能更好地满足用户需求，依据其网站海量的数据，研究用户的兴趣偏好，分析用户的需求和行为，发现用户的兴趣点。引导用户发现自己的信息需求，将网页精准地推荐给所需用户，帮助用户发现他们感兴趣但很难发现的网页信息。为了能够更好的满足用户需求，
5、依据其网站海量的数据，研究用户的兴趣偏好，分析用户的需求和行为，发现用户的兴趣点，从而引导用户发现自己的信息需求。行为记录原始数据：利用read.csv函数把原始数据导入R语言RStudio中，整理数据进行下一步的处理。当用户访问网站页面时，系统会记录用户访问网站的日志，其访问的数据记录了访问序号、内容id、访问内容、用户id、ip等多项属性的记录，并针对其中的各个属性进行说明，如表 2-2 所示。表 2-2 访问记录属性表属性名称属性说明属性名称属性说明id访问序号browser_type浏览器类型content_id内容idbrowser_version浏览器版本page_path网址pl
6、atform_type平台类型username用户名称platform_series平台系列userid用户idplatform_version平台版本sessionid一次浏览标识data_time访问时间ipip地址mobile_type手机类型country国家agent代理商area区域uniqueVisitorID唯一浏览ID依据所提供的原始数据，确定挖掘目标如下：挖掘目标：1、借助大量用户的访问记录，发现用户的访问行为习惯，对不同需求的用户进行相关服务页面的推荐；2、根据用户访问内容、访问次数等属性特征，深入了解用户对访问网站的行为和目的及关心的内容二、 推荐系统架构总体流程主要步
7、骤：1. 从系统中获取用户访问网站的原始记录。2. 以用户访问jhtml后缀的网页为关键条件，对数据进行处理。3. 对数据进行多维度分析，用户访问时间，用户访问内容，流失用户分析以及用户分群等分析。4. 对数据进行预处理，包含数据去重，数据删选，数据分类等处理过程。5. 对比多种推荐算法进行推荐，通过模型评价，得到比较好的智能推荐模型。通过模型对样本数据进行预测，获得推荐结果数据抽取：1.网页类型分析 图一结论：从去掉.jhtml的网址中针对用户的浏览习惯，对教学资源、竞赛、企业合作、新闻合作进行分类提取分析，其中教学资源、竞赛、企业合作、新闻合作分别占总数的百分比为29.50%、34.50%
8、、9.70%、25.40%，这样让我们更深入地去了解用户需要什么，进而为下一步的推荐提升一定的需要。2.脏数据探索l 脏数据探索一：在记录中，存在一部分这样的用户，他们没有点击具体的网页(.jhtml形式的)，点击的大部分是目录网页，总共有12091条记录，应删掉这部分。l 脏数据探索二：对数据中存在部分翻页网址，大量的用户基本只会选择浏览了25页后，如果没有搜索到想要的内容，直接就放弃此次的搜索，很少会选择浏览完全部内容，因为这部分网页存在首页，故对数据处理应删除翻页部分。3.点击次数分析点击次数用户数用户百分比记录百分比1236939.74 5.36 296416.17 4.36 3470
9、7.88 3.19 43906.54 1.80 52654.44 3.00 62023.39 2.74 71682.81 2.66 7次以上113319.01 80.08 分析：1.浏览一次的用户占所有用户39%左右，记录数占5%左右；浏览七次以上的用户占所有用户的80%左右，其中40%的用户，为网址提供了大约90%的浏览量2.对点击次数最大值进行分析，其大多是关于“Python数据分析与挖掘实战图书配套资料下载”的总共2075次。4.网页点击数排名排序网址点击数1tipdm.org/zytj/index.jhtml2469 教学资源2tipdm.org/yxzp/index.jhtml212
10、3 竞赛3tipdm.org/ts/661.jhtml2075 教学资源4tipdm.org/notice/757.jhtml1378 新闻公告5tipdm.org/stpj/index.jhtml1296 竞赛6tipdm.org/qk/729.jhtml1072 竞赛7tipdm.org/ts/654.jhtml 934 教学资源8tipdm.org/jszz/index.jhtml900 竞赛9tipdm.org/ts/785.jhtml 838 教学资源10tipdm.org/ts/578.jhtml 831 教学资源11tipdm.org/xtxm/index.jhtml749 企业
11、合作12tipdm.org/notices/index.jhtml 709 新闻公告13tipdm.org/notice/758.jhtml 661 新闻公告14tipdm.org/sj/638.jhtml648 新闻公告15tipdm.org/ts/index.jhtml645 教学资源16tipdm.org/sj/789.jhtml 569 新闻公告17tipdm.org/sm/736.jhtml 513 竞赛18tipdm.org/ts/655.jhtml505 教学资源19tipdm.org/ts/747.jhtml 487 教学资源20tipdm.org/cgal/index.jht
12、ml 467 竞赛分析：表中可以看出，点击次数排名前20名中，“教学资源”类占了大部分，其次是“竞赛”类，然后是“新闻公告”类。5.同网页翻页的点击数网址点击数比率tipdm.org/yxzp/index.jhtml2123tipdm.org/yxzp/index_2.jhtml 2750.130tipdm.org/yxzp/index_3.jhtml1680.079tipdm.org/yxzp/index_4.jhtml 110.005tipdm.org/yxzp/index_5.jhtml80.004tipdm.org/yxzp/index_6.jhtml50.002tipdm.org/s
13、tpj/index.jhtml1296tipdm.org/stpj/index_2.jhtml1170.090tipdm.org/stpj/index_3.jhtml530.041分析：同一网页中登录次数最多大部分都是从主页搜索引擎直接收索到的网页。可了解到用户进行同网页翻页的比例相对较少，会出现用户衰减的情况。1、如果网页需要翻的页数太多，大量的用户基本只会选择浏览了2-6页后，没有搜索到想要的内容，直接就放弃此次的搜索，很少会选择浏览完全部内容。2、通过搜索入口，直接找到需要的帮助，就不需要对网址进行翻页处理。3、如果翻页情况比较小，可以建议设置全页显示，知识页面无此功能6.数据处理流程三
14、、数据预处理1.数据清洗, 针对上述归纳的脏数据类型，对原始数据进行数据清洗。删除数据类型删除数据记录原始数据记录百分比翻页1277609912.093%乱码错误网址5609910.0081%网站主页2527609914.143%无.html 120916099119.8%重复网页165906099127.2%2.数据选择, 选择记录中.jhtml后缀的记录，并对其进行手动分类处理。类型总记录数百分比（27612）说明zytj、yxsp、jmgj、information、tsasdf、dsjkf、jiao、jmg、tts、sjfxs、sjsdf790628.63%教学资源jszz、stpj、yxzp、cgal、firsttipdm、secondtipdm、thirdtipdm、fourthtipdm、jingsa、kjxm、qk、sdfasf、
