《阿里大数据比赛介绍》由会员分享，可在线阅读，更多相关《阿里大数据比赛介绍（9页珍藏版）》请在金锄头文库上搜索。
1、赛题介绍本赛题适用于 season1 和 season 2 的比赛，season 3 为线上赛（season 2 赛后公布题目）。 在天猫，每天都会有数千万的用户通过品牌发现自己喜欢的商品，品牌是联接消费者与商品最重要的纽带。本届赛题的任务就是根据用户 4 个月在天猫的行为日志，建立用户的品牌偏好，并预测他们在将来一个月内对品牌下商品的购买行为。我们会开放如下数据类型：用户对任意商品的行为都会映射为一行数据。其中所有商品 ID 都已汇总为商品对应的品牌 ID。用户和品牌都分别做了一定程度的数据抽样，且数字 ID 都做了加密。所有行为的时间都精确到天级别(隐藏年份)。评估指标我们希望参赛队的预测
2、, 预测的品牌准确率越高越好，也希望覆盖的用户和品牌越多越好，所以用最常用的准确率与召回率作为排行榜的指标。准确率： 注： N 为参赛队预测的用户数 字 段 字段说明 提取说明user_id 用户标记 抽样&字段加密Time 行为时间 精度到天级别&隐藏年份action_type 用户对品牌的行为类型包括点击、购买、加入购物车、收藏 4 种行为 (点击：0 购买：1 收藏：2 购物车：3）brand_id 品牌数字 ID 抽样&字段加密pBrandsi 为对用户 i 预测他(她)会购买的品牌列表个数 hitBrandsi 对用户 i 预测的品牌列表与用户 i 真实购买的品牌交集的个数召回率：
3、注： M 为实际产生成交的用户数量 bBrandsi 为用户 i 真实购买的品牌个数 hitBrandsi 预测的品牌列表与用户 i 真实购买的品牌交集的个数最后我们用 F1-Score 来拟合准确率与召回率，并且大赛最终的比赛成绩排名以 F1 得分为准。 不同赛季使用数据说明Season 1 赛季数据1) 数据获取格式： 参赛者通过大赛官网报名成功后，可以直接下载数据到本地，直接使用。（下载地址在参赛者的个人中心） 2) 数据说明： 提供的原始文件有大约 4M 左右，涉及 1 千左右天猫用户，几千个天猫品牌，总共 10 万多条的行为记录。用户 4种行为类型(Type)对应代码分别为：点击：0
4、；购买： 1；收藏：2；购物车：3 3) 提交评分方式： 参赛者将预测的用户存入文本文件中，格式如下： user_id t brand_id , brand_id , brand_id n 上传的结果文件名字不限(20 字以内)，文件必须为 txt 格式。如图：将预测结果文件上传至大赛官网结果提交入口即可。（提交结果入口在参赛者的个人中心）Season 2 赛季数据1) 数据获取方式： 参赛者只能登陆阿里巴巴天池集群获取数据，且数据不能下载，所有数据分析，计算，提交评分都将在天池集群上完成。登陆天池集群方法，请留意后续的指导文档和邮件通知。 2) 数据说明： 提供的数据量，涉及千万级天猫用户，
5、万级天猫品牌，时间跨度 4 个月的行为记录。 提供的训练数据在天池集群的表 t_alibaba_bigdata_user_brand_tota_1 中，字段分别为：user_id，brand_id, type, visit_datetime。如图所示 用户 4 种行为类型(Type)对应代码分别为： 点击：0；购买：1；收藏：2；购物车：3 3) 提交评分方式： 参赛者完成用户品牌偏好预测后，需要将结果放入指定格式的数据表（非分区表）中，要求结果表名为：t_tmall_add_user_brand_predict_dh，包含 user_id 和 brand 两列。其中 brand 字段为预测的
6、偏好品牌 ID，多个品牌之间用逗号(,)分隔。 例如：2. 大赛数据抽样方式？本次大赛的数据直接采用随机抽样的方式，抽取了天猫网站线上的一部分真实数据，抽样后数据未经过任何人为处理，所以数据包括了网站上所有真实情况(促销、活动、刷信用等等)。用户对所有商品的行为，都映射为用户对商品所对应的品牌行为。数据分别对用户和品牌做了部分抽样，所以提供的数据为一部分用户和一部分的品牌。3. 品牌数据如何抽取的？所有品牌数据均来自于商品信息，但不包括书籍类目和充值等没有品牌的类目数据，只针对包含正常品牌信息的商品。4. 4 种用户行为的类型有什么区别？点击：点击行为是用户在网站上对商品的一次浏览点击行为。购
7、物车：用户对商品的加入购物车行为，购物车本身有容量限制(50 个商品) ，用户可以在购物车中直接购买商品，或者删除购物车中商品。数据中没有提供用户删除购物车内商品的行为。收藏：用户对商品的加入收藏夹行为，收藏夹本身没有容量限制，用户可以在收藏夹中直接购买商品，或者删除收藏夹中商品。数据中没有提供用户删除收藏夹内商品的行为。购买：用户对商品的一次正常网购行为，数据中没有提供用户退款、退货等交易纠纷行为。5. user 和 brand 字段的 ID 是否为网站真实 ID？用户 ID 和品牌 ID 均已经脱敏，与网站真实 ID 不同，系统已保障了数据安全性。6. 用户行为数据是否为阿里巴巴所有相关网
8、站数据？所有数据只包括用户在天猫网站上的行为数据，不包括用户在淘宝网、聚划算、淘点点等网站的行为等数据。7. 第一赛季和第二赛季数据区别？第一赛季数据只开放了 10 万量级的数据供用户下载，第一赛季数据为第二赛季数据的子集。开放给参赛者的数据是用户 4 月 15 到 8 月 15 一共 4 个月的数据。8. 系统每天在什么时间点运行评分？a、第一赛季，系统每周日凌晨 2 点运行一次评分，评分结果在大赛官网上可以查询。b、第二赛季，系统每天凌晨 4 点运行一次评分，所以提交结果必须在凌晨 4 点前完成，否则不会产出评分结果。9. 评分运行后以哪个成绩为准?a、第一赛季，用户可以多次提交结果，但系
9、统只会评分每周日凌晨 2 点前最后一次提交的结果，多次提交的结果会被最后一次结果覆盖。每周的结果都会记录。b、第二赛季，用户每天也可以提交多次结果，但系统只会评分每天凌晨 4 点前最后一次提交的结果，多次提交的结果会被最后一次结果覆盖。每天的结果都会记录。10. 比赛多次结果评分，排名成绩如何排名？最终比赛成绩会以用户最优的 F1 得分进入总排行榜，所以参赛者可以多次提交尝试不同算法，不用担心测试过程中的结果影响最终成绩。11. 第二赛季的数据是否可以开放下载？第二赛季数据涉及阿里数据安全问题，所有参赛者不能下载到本地。12. 第二赛季使用的云计算平台都有哪些功能？第二赛季使用的云计算平台是阿
10、里巴巴自主研发的分布式离线数据处理平台(ODPS, 即Open Data Processing Service)，支持海量结构化数据的离线存储和计算，可以提供数据仓库的解决方案以及针对大数据的分析建模服务。ODPS 提供了多种数据处理操作，以及完善的安全解决方案，其包括的功能有:计算服务: SQL：用户可以通过客户端编写一段 SQL，ODPS 会自动将这段 SQL 解析为分布式的计算任务，为用户处理数据，得到分析结果； MapReduce on SQL：基于 ODPS SQL 框架开发的一套 MapReduce 编程接口；用户可以编写自己的 MapReduce 程序，将编译好的 jar 包上传
11、至 ODPS。最后通过简单的命令行方式运行自己的 MapReduce 任务。 Xlib；ODPS 为用户提供的一整套数据挖掘算法，包括但不限于：o 完全奇异值分解(Full Singular Value Decomposition)o 部分奇异值分解(Partial Singular Value Decomposition)o 追加矩阵列(Append Matrix Columns)o 多列排序和分位(Multi-columns Sorting and Ranking)o 基础统计（Basic Statistics）o 逻辑回归模型训练（Logistic Regression Train）o
12、逻辑回归模型预测（Logistic Regression Predict）o 随机森林模型训练（Random Forest Train）o 随机森林模型预测（Random Forest Predict） 安全：ODPS 提供了功能强大的安全服务,为用户的数据安全提供保护；13. 如果对 ODPS 不够了解，有哪些可以提前参考学习的资料？ODPS 提供的 SQL，MapReduce，Xlib 等功能的详细介绍文档会在 4 月 25 日前，即第二赛季开始前，对外发布。在此之前，大家可以参考业内其他产品的相关资料：Hadoop 学习资料：http:/hadoop.apache.org/Hive 学习
13、资料：http:/hive.apache.org/MapReduce 学习资料：http:/ 学习资料：https:/mahout.apache.org/参赛选手也可自行查找其他学习文档。ODPS 的存储、计算调度依赖于一套阿里巴巴自主研发的分布式系统(飞天，Apsara)。对于分布式存储、计算方面的介绍可以参考 Hadoop 介绍文档。与 Hadoop 不同的是，飞天系统在计算调度方面不仅支持离线计算任务的调度，还支持在线服务的调度。此外，飞天支持更复杂的图结构的离线计算任务，而不仅仅是 MapReduce 框架的任务。ODPS SQL 功能的更多介绍请参考 Hive 相关资料。Xlib 功
14、能请参考 Mahout 的学习资料。在支持的算法类型上 Xlib 与 Mahout 有很大不同。特殊声明：ODPS 的各项功能的设计与实现同上述产品相比有很多不同。上述资料仅是为缺少分布式开发经验的参赛选手准备。如果想对 ODPS 产品有全面细致的了解，请关注 4月底发布的 ODPS 官方文档说明。14. 使用 ODPS 中，遇到问题如何解决？ODPS 会在 2014 年 4 月底向社会开放。您在使用中遇到的各种问题可以通过阿里云网站(http:/)中的 ”我的阿里云” - “用户中心” - “售后支持”提交工单。阿里云会有专门的售后技术支持人员为您解答问题。本次竞赛还会有专门的论坛供大家讨论
15、问题。此论坛更多关注竞赛规则、数据算法讨论及技术交流范畴。如果您在竞赛过程中有任何 ODPS 相关的疑问，请通过阿里云网站的售后系统进行反馈，会得到更快的解决。15. 第二赛季, 用于评分的测试集数据时间分布?用于评测参赛者算法的数据，是采用 8 月 16 到 9 月 15 一个月内的用户购买数据。该数据不向参赛者公布，系统自动隐藏。16. 为什么参赛者提交了结果，但没有评分结果？第一季提交结果后，没有评分结果，可能出错的原因：a、结果文件格式错误，上传的结果文件必须是 txt 格式。 b、结果文件内部必须为 user_id t brand_id , brand_id , brand_id n
16、 格式，用户 ID 和品牌列表采用“t”分隔，品牌列表内品牌采用“,”分隔。 c、结果文件中不能包含除去数字、“t”、“,”、“n”以外任何字符。 d、结果文件中存在空白用户或者空白品牌列表，会导致评分结果受到影响。第二季提供结果后，没有评分结果，可能出错的原因：a、参赛者的结果没有放入指定的结果表(t_tmall_add_user_brand_predict_dh)内，请检查表名。 b、参赛者提供的结果表字段与规定不符合，结果数据表必须为 user_id 和 brand 两列。 c、参赛者提供的结果数据分隔符错误，预测的用户品牌必须用“,” 分隔，请检查。17. 第二赛季中多天未提交结果，成绩如何变化？
