《互联网推荐系统技术简介》由会员分享，可在线阅读，更多相关《互联网推荐系统技术简介（24页珍藏版）》请在金锄头文库上搜索。
1、互联网推荐系统 技术简介 福建新大陆软件工程公司 2014年5月 2 2 目录目录 推荐原理推荐原理 互联网推荐系统参考互联网推荐系统参考 背景简介背景简介 移动电信行业的推荐系统探讨移动电信行业的推荐系统探讨 3 3 为何要推荐 主动搜索 知道自己要什么 知道如何去描述 系统推荐 不知道去哪里找 不知道如何去描述 信息超载+时间有限 主动搜索主动搜索+系统推荐系统推荐 4 4 电商推荐案例-亚马逊 Amazon 利用可以记录的所有用户在站点上的行为，根据不同数据的特点对它们进行 处理，并分成不同区为用户推送推荐： 基于社会化的推荐，Amazon 会给你事实的数据，让用户信服，例如：购买此物品
2、 的用户百分之多少也购买了那个物品； 基于物品本身的推荐，Amazon 也会列出推荐的理由，例如：因为你的购物框中有 *，或者因为你购买过 *，所以给你推荐类似的 *。 5 5 社交推荐案例-豆瓣 豆瓣基于社会化的协同过滤的推荐，用户越多，用户的反馈越多，那么推荐的效果会 越来越准确。 相对于 Amazon 的用户行为模型，豆瓣电影的模型更加简单，就是“看过”和“想 看”，这也让他们的推荐更加专注于用户的品味，毕竟买东西和看电影的动机还是有 很大不同的。 另外，豆瓣也有基于物品本身的推荐，当你查看一些电影的详细信息的时候，他会给 你推荐出“喜欢这个电影的人也喜欢的电影” 6 6 目录目录 推荐
3、原理推荐原理 互联网推荐系统参考互联网推荐系统参考 背景简介背景简介 移动电信行业的推荐系统探讨移动电信行业的推荐系统探讨 7 7 推荐引擎工作原理 推荐引擎所需要的数据源包括： 要推荐物品或内容的元数据，例如关键字， 基因描述等； 系统用户的基本信息，例如性别，年龄等 用户对物品或者信息的偏好，根据应用本 身的不同，可能包括用户对物品的评分， 用户查看物品的记录，用户的购买记录等。 其实这些用户的偏好信息可以分为两类： 显式的用户反馈：这类是用户在网站上自 然浏览或者使用网站以外，显式的提供反 馈信息，例如用户对物品的评分，或者对 物品的评论。 隐式的用户反馈：这类是用户在使用网站 是产生的
4、数据，隐式的反应了用户对物品 的喜好，例如用户购买了某物品，用户查 看了某物品的信息等等。 推荐引擎根据不同的推荐机制可能用到数据源 中的一部分，根据这些数据，分析出一定的规 则或者直接对用户对其他物品的喜好进行预测 计算。在用户进入的时候给他推荐他可能感兴 趣的物品。 8 8 推荐引擎分类 基于人口统计学 的推荐 基于内容的推荐 混合的推荐机制 基于协同过滤 的推荐 根据推荐物品或内容 的元数据，发现物品 或者内容的相关性， 然后基于用户以往的 喜好记录，推荐给用 户相似的物品 将多个方法混合在 一起，从而达到更 好的推荐效果 简单的根据系统用 户的基本信息发现 用户的相关程度， 然后将相似
5、用户喜 爱的其他物品推荐 给当前用户 根据用户对物品或 者信息的偏好，发 现物品或者内容本 身的相关性，或者 是发现用户的相关 性，然后再基于这 些关联性进行推荐 9 9 基于人口统计学的推荐 优点： 1）不使用当前用户对物品的喜好历史数据，所以对于新用户来讲没有“冷启动（Cold Start）”的问题。 2）不依赖于物品本身的数据，在不同物品的领域都可以使用 缺点 过于粗糙，尤其是对品味要求较高的领域，比如图书，电影和音乐等领域，无法得到很好的推荐效果 10 10 基于内容的推荐 优点： 1）能很好的建模用户的口味 2）能提供更加精确的推荐 缺点： 1）推荐的质量依赖于对物品模型的完整和全面
6、程度 2）物品相似度的分析仅仅依赖于物品本身的特征，这里没有考虑人对物品的态度 3）需要基于用户以往的喜好历史做出推荐，所以对于新用户有“冷启动”的问题。 常用算法 决策树、神经网络、基于向量的TF-IDF方法 11 11 基于协同过滤的推荐 优点： 1） 能够过滤难以进行机器自动内容分析的信息， 如艺术品，音乐等。 2） 共享其他人的经验，避免了内容分析的不完全 和不精确，并且能够基于一些复杂的，难以表述的 概念（如信息质量、个人品味）进行过滤。 3） 有推荐新信息的能力。可以发现内容上完全不 相似的信息，用户对推荐信息的内容事先是预料不 到的。这也是协同过滤和基于内容的过滤一个较大 的差别
7、，基于内容的过滤推荐很多都是用户本来就 熟悉的内容，而协同过滤可以发现用户潜在的但自 己尚未发现的兴趣偏好。 4） 能够有效的使用其他相似用户的反馈信息，较 少用户的反馈量，加快个性化学习的速度。 缺点： 1）用户对商品的评价非常稀疏，这样基于用户的评 价所得到的用户间的相似性可能不准确（稀疏性）; 2）随着用户和商品的增多，系统的性能会越来越低; 3）如果从来没有用户对某一商品加以评价，则这个 商品就不可能被推荐（即最初评价问题）。 常用算法 item-based CF、user-based CF、Slope One 12 12 目录目录 推荐原理推荐原理 互联网推荐系统参考互联网推荐系统参
8、考 背景简介背景简介 移动电信行业的推荐移动电信行业的推荐系统探讨系统探讨 13 13 互联网推荐特点 14 14 百度推荐引擎架构 15 15 阿里巴巴推荐引擎架构 16 16 腾讯推荐引擎架构 17 17 目录目录 推荐原理推荐原理 互联网推荐互联网推荐系统参考系统参考 背景简介背景简介 移动电信行业的推荐移动电信行业的推荐系统系统探讨探讨 18 18 功能要素 活跃用户追踪 潜在用户挖掘 业务评估 用户偏好 流量解析 个性推荐 群体分发 描述 分析 预测 19 19 系统功能 电信基础业务推荐 应用层 数据模型层 数据分析 APP推荐 推 荐 系 统 功 能 游戏推荐 阅读推荐 流量套餐
9、推荐 用户行为 用户偏好 用户属性 用户画像 物品评分 物品类别 物品属性 推荐物品资源矩阵 用户聚类 协同过滤 相似性计算 基于内容的推荐 个性化补足推荐 20 20 分布式架构的应用 计算引擎：MapReduce 分布式架构程序 存储底层：HDFS 原始数据存储 存储引擎 ：HBASE 存储用户和物品属性、评 分数据 HADOOP 查询引擎：Hive 分布式数据查询 数据采集引擎： Flume 采集用户访问日志、 上网日志、运营数 据等转储至hdfs 推荐引擎：Mahout 分布式推荐算法实现 任务调度引擎：Oozie 分布式工作流引擎 IDE集成开发： Eclipse 21 21 推荐引
10、擎业务流程 访问日志上网日志用户属性运营数据用户访问路径 分析分类计算经分系统数据 清洗数据处理用户画像物品数据源向量化物品数据矩 阵推荐算法特 征过滤推荐结 果数据推荐排名22 22 偏好推荐用户画像 移动属性：品牌、 套餐、3G用户、 实时流量消费 终端信息：操作 系统、机型 重点营销对象： 是否本站访问用户 重点维护对象：是 否本站客户端用户 用户App偏好类型 用户站内下载信息 用户浏览信息 用户访问竞争站点情况 用户TOP兴趣标签 标签，权重 用户偏好产品形态， 主题，流量 本月上网记录（pv/d,流量 /d） 24小时用户上网行为轨迹 （时间段，消费的互联网内 容标签） 基础信息基础信息 App偏好偏好 兴趣偏好兴趣偏好 上网行为上网行为 用户用户 23 23 推荐营销示例 分析业务之间的关联关系，对具备高关联度业务进行各业务子集的可信度预测，向某 一用户推荐其已使用业务的关联业务 分析业务之间的关联关系，对高相似度用户进行各业务子集的可信度预测，向 某些用户推荐与其相似用户常使用的业务。 基于内容相似度 基于用户相似度 24 24 卓越创新、共同进步! 研究院南京中心研究院南京中心 项炤赟项炤赟
