《产学研前瞻性联合研究项目申报书.doc》由会员分享，可在线阅读，更多相关《产学研前瞻性联合研究项目申报书.doc（36页珍藏版）》请在金锄头文库上搜索。
1、项目类别： 面上引导项目 申报代码： 申报ID号： SBY201220078 校企联盟登记编号： NBG0020119 江苏省科技计划项目申报书(省产学研前瞻性联合研究项目)项目名称： 基于云计算的电子商务个性化推荐技术及其应用 申报单位（盖章）： 东南大学 合作单位（盖章）： 焦点科技股份有限公司 合作单位（盖章）： 项目负责人： 罗军舟 联系电话： 13601458884 推荐部门（盖章）： 申报日期：2012 年 03 月 12 日江苏省科学技术厅二一二年制一、项目立项的意义及必要性1、项目涉及的技术领域发展的现状，国内外最新研究进展情况。个性化推荐是一种根据用户的兴趣特点和使用行为，主
2、动向用户推荐其可能感兴趣的资源的信息过滤技术。个性化推荐技术作为一种重要的信息过滤手段，能够有效解决互联网的信息超载问题，目前已经成为电子商务、社交网络和在线视频等互联网应用的核心技术。近几年来，国内外学术界对个性化推荐相关的研究工作逐渐增多，在数据挖掘和机器学习领域的顶级会议（SIGCHI, KDD, SIGIR）中，研究个性化推荐的文章也在逐年增加，各种推荐算法涵盖了包括认知科学、近似性理论、信息检索等众多研究领域。与此同时，应用于各个领域的个性化推荐系统纷纷产生，其中具有代表性的有：Xerox公司为了解决研究中心资讯过载问题而开发的邮件过滤器Tapestry system，Netflix
3、公司推出的电影推荐系统以及YouTube的视频个性化推荐服务。本项目的申请单位东南大学江苏省网络与信息安全重点实验室在个性化推荐领域具有坚实的研究基础，提出了普适环境下基于上下文感知的资源推荐模型，结合隐性动态上下文信息进行有效地资源过滤与个性化推荐。电子商务是个性化推荐最典型的应用领域，具有良好的发展和应用前景。商家根据用户的兴趣、爱好推荐顾客可能感兴趣或满意的商品，顾客的需求通常是不明确的、模糊的，如果商家能够把满足用户模糊需求的商品推荐给用户，就可以把用户的潜在需求转化为现实需求，从而达到提高产品销售量的目的。目前，国外知名的电子商务企业，如Amazon和eBay等，都不同程度地开发了适
4、合企业自身的个性化推荐系统，同时每年会投入大量精力改进其推荐算法。例如Amazon通过提出基于商品(item-based)的协同过滤推荐算法，计算商品间的相似度并向用户推荐与其使用过商品相似的商品，以解决用户兴趣度变化问题。随着电子商务的发展，其往往拥有海量的评分数据集，在利用已有个性化推荐技术处理电子商务应用时很难保证其推荐准确率和推荐时延，目前研究面向海量数据集的个性化推荐技术的研究工作还比较少。我国的电子商务行业目前正处于快速发展阶段，其中本项目合作单位焦点科技股份有限公司是国内领先的B2B电子商务企业，其自主开发运营的中国制造网(Made-in-China)拥有面向全球范围的海量用户和
5、资源数据集，能够为本项目的研发提供数据方面的技术保障。与此同时，我国在电子商务领域的个性化推荐技术发展缓慢，目前市场上鲜有成熟的电子商务个性化推荐产品问世。本项目拟结合我国电子商务企业的实际运营模式和数据特点，提出一个能够高效处理海量数据集的个性化推荐服务实现方案。云计算是信息产业界提出的一种新型分布式计算模式，其在处理海量数据方面具有显著优势。云计算分别从计算与存储两方面考虑面向海量数据的解决方案。存储方面，国外知名大公司如Google、Yahoo!等纷纷研究、建立面向海量数据的分布式文件系统如GFS、HDFS等，实现对数据的高效存储和快速访问。在此基础上，Google、Amazon、Yah
6、oo!公司的研究人员又提出面向上层应用的云数据库技术与产品，如BigTable、DynamoDBHBase等，以key-value的形式按列存储结构化或半结构化数据，为上层大规模互联网应用提供高效的数据支持。计算方面，为了实现对海量数据的高效处理，研究人员提出了MapReduce、Dryad等并行程序编程模型，简化处理模型，同时屏蔽底层复杂性，为上层应用提供高可靠、高效率、高并行化的数据处理环境。此外，为了实现上层应用向MapReduce、Dryad的自动封装与转化，文献分别提出了面向应用的Sawzall、Pig以及DryadLINQ语言。此外，云计算可借助虚拟化技术OpenStack和Euc
7、alyptus，为海量数据处理应用按需分配资源，实现数据处理环境的快速搭建与部署。本项目拟利用云计算技术，解决电子商务个性化推荐技术在处理海量数据集时面临的数据稀疏问题和可扩展性问题。一方面，项目基于云计算中的分布式存储技术，对海量推荐数据集进行划分、放置、存储和查询，降低电子商务个性化推荐的推荐时延。另一方面，项目研究云计算环境下的任务调度和资源分配机制，为推荐流程的并行运行提供有效支撑。项目的申请单位东南大学江苏省网络与信息安全重点实验室在云计算与海量数据处理方面具有较强的研究基础，参与了欧盟第七框架计划CASES项目，利用云计算平台为工业制造系统提供节能减排方面的咨询服务。同时构建了东南
8、大学高性能计算中心，为AMS数据计算环境应用示范以及云计算环境下基于维存储的OLAP聚集计算关键技术研究。2、本项目研究的目的、意义，对我省相关行业、领域技术进步的意义。随着近年来互联网的普及和企业信息化程度的不断提高，电子商务正以令人难以置信的速度蓬勃发展。据最新统计数据显示，2011年中国电子商务市场整体交易规模达到7.0万亿元，同比增长46.4。预计未来3-5年内，中国电子商务市场仍将维持稳定的增长态势，平均增速超过35，2015年达到26.5万亿元。而另一边越来越多的中小企业正在加入电子商务的行列，据报告显示，截止到2011年12月，国内使用第三方电子商务平台的中小企业用户规模已经突破
9、1600万。然而电子商务系统在为用户提供越来越多选择的同时，商品信息过载的现象越来越严峻，用户在大量的商品信息空间中无法快速便捷地找到自己真正需要的商品。因此如何对电子商务信息进行有效的组织利用，以及如何尽可能地了解顾客的兴趣爱好，以优化网站设计，从而方便顾客购物，成为电子商务发展亟待解决的问题。于是电子商务个性化推荐技术应运而生。个性化推荐系统是指依据网络消费者的浏览行为和历史购买记录提取消费者的个性化特征及潜在偏好，在此基础上为其推荐满足其当前偏好的商品。它的出现大大提高了电子商务活动的简便性和有效性，同时也提高了企业的服务水平。目前，个性化推荐技术已广泛应用于许多大型电子商务系统。尽管取
10、得了一定的研究成果，但其仍面临很多挑战，如数据稀疏问题及冷启动问题。前者是指在大规模电子商务环境下，同时被多个用户评分的项目非常稀少，从而影响相似用户的挖掘精度；后者是指对于新进项目或很少被用户评分项目很难被及时推荐给用户。除此之外，由于电子商务的迅猛发展，用户数量、商品信息以及购买信息呈几何方式上涨，已达到TB甚至PB级。对如此巨大数据集进行个性化推荐分析，需要消耗大量的计算与存储空间。倘若仍然采用集中式分析处理模式，则会导致推荐时间过长，极大影响了用户的购物体验。为此我们需要采用分布式处理模式对海量的电子商务数据进行分析挖掘及个性化推荐。随着近年来云计算的出现及发展，利用云计算环境实现面向
11、电子商务的高效个性化推荐成为解决以上问题的有效途径。云计算的核心思想是将大量用网络连接的资源进行统一管理，通过虚拟化技术构建共享资源池，并以按需支付、弹性扩展的方式向用户提供相应的资源，在提高服务质量的同时降低运维成本。根据以上分析并结合云计算的相关特点可知，采用云环境实现电子商务个性化推荐服务将具有如下优势：1、更加快速的处理。云环境中用户可以获得更多的计算与存储能力，同时通过高效的并行数据处理模式及任务调度机制，能极大提高针对海量电子商务数据的个性化推荐的执行速度及效率。2、更加灵活高效的资源获取方式。利用云计算技术，一方面系统可在短时间内完成用户所需资源的灵活部署与配置；另一方面，系统可
12、以为大量中间数据按需申请与释放存储资源，有效避免资源的浪费。通过弹性的资源分配，使得企业能够实时响应个性化推荐请求量的动态变化，极大加强了个性化推荐服务的稳定性。综上所述，我们需要针对目前电子商务个性化推荐特点并结合云计算的优势，研究基于云计算的电子商务个性化推荐技术，在解决个性化推荐算法自身问题的同时，通过利用云计算技术，实现面向海量电子商务信息的高效的个性化推荐。项目的顺利实施不仅可以有效提高电子商务企业自身的发展速度，积极推动商业模式与信息技术的联合创新，实现产业技术改造及节能减排，极大促进我省电子商务产业健康、快速、稳定地发展；同时通过加大项目成果产业化、商业化和规模化应用力度，使得生
13、产经营管理方式向网络化、数字化、集约化方向发展，有效促进电子商务产业结构调整和优化升级，加速形成电子商务产业集群；有助于提高我省市场经济活动效率，有利于中小企业的健康快速成长，为我省长期持续的经济活力和产业竞争力奠定良好的基础。 3、本项目研究现有起点科技水平及已存在的知识产权情况。目前，推荐系统最典型的应用是在 B2C 电子商务领域，具有良好的发展和应用前景。几乎所有的大型电子商务系统，如 Amazon，eBay 等，都不同程度地使用了各种形式的推荐系统。典型的商用推荐系统有A, eBay, Levis, Ski-，CDNOW，N等。主流的推荐方法基本包括以下几种：基于内容推荐、协同过滤推荐
14、、基于知识推荐和组合推荐。近年来，一些方法比较的工作讨论并实验了各种方法与组合策略，得出结论：组合策略能够取得比纯基于内容或协同过滤方法更好的效果。现有的推荐算法仍然存在特征提取、冷启动、过拟合、稀疏问题，亟待学术界和工业界的完善和解决。同时多维度推荐、相关反馈、评价准则、安全性以及推荐社会学等仍然是当前进行深入研究和扩展的热点问题。因此，本项目关注的基于云计算的个性化推荐技术具有很好的发展前景。云计算技术是信息产业的一大创新，现有工作已在数据中心设计与管理、虚拟化平台、海量数据处理等方向展开研究。典型的商用云计算平台包括Amazon EC2、Google App Engine、Microso
15、ft Azure等。此外，还出现了许多开源云计算系统，如OpenStack、OpenQRM、Hadoop等。这些系统平台为面向海量数据的个性化推荐提供了基础平台和技术保证。在发明专利方面，目前已有专利大多侧重于研究集中式环境下的个性化推荐技术，而针对海量数据的分布式推荐技术的相关专利还非常少。其中已申请的有“涉及海量数字信息的分布式推荐方法”，该分布式推荐方法在海量数字信息的情况下向用户推荐数字信息的速度更快，适用于各种数字信息；此外还有“处理超大量用户的协同过滤推荐方法”，通过将评分数据存储在本地，并利用分布式路由机制获得相似用户的评分数据，在本地使用协同过滤方法得到推荐值。上述两个专利均利用分布式路由技术获取部分评分数据，能有效降低推荐时延，但同时也会降低推荐准确率。本项目将云计算技术与个性化推荐技术相结合，利用分布式存储系统和并行处理框架优化推荐数据集，能够保证推荐系统的准确率和时延，在国内外相关研究领域均处于领先地位。二、研究内容、目标和拟解决的关键问题1、具体研究开发内容、目
