计算广告_刘鹏汇编

《计算广告_刘鹏汇编》由会员分享，可在线阅读，更多相关《计算广告_刘鹏汇编（135页珍藏版）》请在金锄头文库上搜索。

1、计算广告 刘鹏 微博：北冥乘海生 互联网广告概述 广告的作用 什么是广告(Advertising)？ 广告是由已确定的出资人通过各种媒介进行的有关产 品(商品、服务和观点)的，通常是有偿的、有组织的、 综合的、劝服性的非人员的信息传播活动。 广告的主体 出资人(sponsor)即广告主(advertiser)，媒介 (medium)，受众(audience) 广告的本质 是借助某种有广泛受众的媒介的力量，完成较低成本 的用户接触(reach) 关于互联网广告 在线广告支撑了整个互联网行业的大 半壁江山。不了解互联网广告，就不 可能深入了解互联网。 互联网广告是迄今为止，大数据领域 唯一形成规模

2、化营收的应用。 互联网广告是结合了计算技术、心理 学、经济学、营销学等的综合应用。 美国互联网广告增长趋势 中国互联网广告增长趋势 品牌广告(Brand Awareness) 创造独特良好的品牌或产品形象, 目的在于提升较长时期 内的离线转化率 效果广告(Direct Response) 有短期内明确用户转化行为诉求的广告。用户转化行为例 如：购买, 注册, 投票, 捐款等. Interactive Advertising Bureau 在线广告供给方的行业协会，推动数字化市场营销行业 的发展 制定市场效果衡量标准和在线广告创意的标准 会员: Google, Yahoo, Microsoft,

3、 Facebook等 American Association of Advertising Agencies 主要的协议是关于广告代理费用的收取约定(17.65%)， 以避免恶意竞争 主要集中在创意和客户服务，在线业务是一部分 会员：Ogilvy 2:optional string value=“x” 用service定义RPC服务接口: service KVCachevoid set(1:i32 key, 2:string value); string get(1:32 key); void delete(1:i32 key); 将上述声明放在IDL文件(比如service.thrift)

4、中, 用thrift r gen cpp service.thrift生成服务框架代码 能实现结构体和接口的Backward compatible 类似工具：Hadoop子项目Avro，Google开发的ProtoBuf 合约广告 广告位售卖 CPD售卖 供给方：广告排期系统 帮助媒体自动执行多个合同的排期 不提供受众定向，可以将广告素材直接插入页面 需求方：代理商 帮助广告商策划和执行排期 用经验和人工满足广告商质和量的需求 典型场景 品牌条幅广告 担保式投送 CPM售卖 担保式投送(Guaranteed Delivery, GD) 基于合约的广告机制，未完成约定量要向广告商补偿 多采用千次

5、展示付费(Cost per Mille, CPM)方式结算 广告投放机(Ad server) CPM方式要求广告投送由服务器端完成决策 受众定向、流量预测是广告投放的基础 典型场景 视频广告、机顶盒广告 简化的流量配送模型 供给节点(Supply Nodes, 定向标签的最细组合) 需求节点(Demand Nodes, 订单要求的定向标签组合) 假设：节点内部的流量差异可以忽略 拉格朗日方法 原问题(Primary problem) 拉格朗日(Lagrangian) 对偶问题 (Dual problem) 等式约束下的几何意义见右 KKT条件为保证此方法有效 的条件 凸优化情形下满足KKT条件

6、， 但注意一些非凸优化也满足 对偶函数(Dual function) 在线随机分配算法 (with Free disposal) 对每个a, 初始化对偶变量a为0 当展示i在线到达时, 将其分配给a以最大化ia a 令xia = 1. 如果a已经得到Ca次展示, 令i为使得此值最小 的展示, 令xia = 0 在对偶问题中, 令zi=ia a , 并按照一定规则更新a , 不 同更新规则对应了不同的算法 对偶问题： 原问题： a更新策略 策略 算法有效性 Greedy 对每个a, a是分配给a的前Ca个高权重 展示中最低的权重, 也即a接受一个新的 展示需要抛弃的权重 1/2 competit

7、ive Uniform Weighting 对每个a, a是分配给a的前Ca个高权重 展示的权重的算术平均. 如果分配给a的 展示少于Ca个, a是这些展示总权重与 Ca的比. 1/2 competitive Exponential Weighting 对每个a, a是分配给a的前Ca个高权重 展示的权重的指数加权。即：设1 2 Ca，则： 当Ca对每个a 都 充分大时为(1 1/e) competitive 流量预测指导下的在线分配 目的 利于历史数据为在线分配提供指导 在线决策时避免存储xia(compact allocation plan) HWM(High Water Mark)算法

8、离线计划： 令每个人群维度组合k的剩余supply等于预测量rk = sk 按照分配优先级对每个a，解下式得到其serving rate a : 对(a)中的每个k, 令rk = rk minrk, ska 在线分配 对在线到来的某个impression, A = a1, a2, , a|A|为按照分配 优先级排序的所有满足要求的广告 按照A中的每个广告的serving rate随机分配其展示机会 核心业务： GD, 无法分配的流量转接到NGD(non- guaranteed delivery, 即Rightmedia exchange) 进行变现 GD市场广告主数量为几千，年收入为Billi

9、on量级 其他点评： 采用compact allocation plan完成线上决策 提供下列受众定向 地域、人口属性、 行为(较为粗浅，常用的仅有几十个分类) 合约式销售中，品牌广告主对曝光有独占要求 担保式投送系统框架 受众定向 中国互联网用户桌面 受众售卖 vs 广告位售卖 A(d)U(ser)C(txt)上的标签体系 受众定向即为AUC打标签的过程 上下文标签可以认为是即时受众标签 标签的两大主要作用 建立面向广告主的流量售卖体系 为各估计模块(如CTR预测)提供原始特征 常见受众定向方式 曝光(exposure) 关注(attention) 理解 (comprehension) 信息

10、接受 (message acceptance) 保持 (retention) 购买(purchase) 阶段定向方式 上下文 (2.1, 3.1) 重定向 (2.2, 2.3, 3.1) 行为 (2.3, 3.1) 地域 (2.3, 4.1) 人口属性 (2.3, 3.1, 6.1) 网站/频道 (2.3, 3.1, 4.2) 效果 作用阶段 Hyper-local (2.3, 4.1) Look-alike (2.3, 3.1, 4.1, 6.1) (见DSP部分) 上下文定向(Contextual targeting) 根据用户正在浏览的页面和其他信息投送广告 举例 Google Adse

11、nse早期产品 上下文定向主要技术 举例 频道/URL定向，操作系统定向 按关键词、主题、分类等进行定向 与行为定向相比，架构有较大区别 常用方法 用规则将页面归类到一些频道或主题分类 提取页面中的关键词 提取页面入链锚文本中的关键词 提取页面流量来源中的搜索关键词 用主题模型将页面内容映射到语义空间的一组主题上 半在线(Near-line)抓取系统 用在线cache系统存储url - 特征表以提供实时访问 不预先加载任何cache内容，对cache中不存在的url, 立刻返回空特征, 同时触发相应的页面爬虫和特征提 取 设置cache系统合适的失效时间以完成特征自动更新 页面主题分析 - T

12、opic Model 问题: 发现一组文档中抽象的主题(topics) 常用模型图表示 PLSI LDA(Latent Dirichlet allocation) GaP (Gamma-Poisson) p(w|),p(z|): Multinomial p(|), p(|): Dirichlet p(z|): Gamma p(w|): Poisson 经验贝叶斯 Empirical Bayes 如下图模型, 如何确定hyperparameter ? EB解: 当 为指数族分布， 为其共轭先验时，可 用EM求解, 其中E-step为Bayesian inference过程, 由 得到后验参数 ,

13、 而M-step为: 从经验贝叶斯看LDA LDA可以视为PLSI的经验贝叶斯版本 由于PLSI不是指数族分布，而是其混合分布，因此其贝叶 斯版本不能使用前面的EM算法 Deterministic inference: 可用变分近似，假设z和的后验分布独立迭代求解过程与 EM非常相似，称为VBEM 在大多数问题上无法保证收敛到局部最优 Probabilistic inference: 可用Gibbs-sampling(Markov-chain Monte-Carlo, MCMC, 的一种)，以概率1收敛到局部最优值 Collapsed Gibbs-sampling: Topic model的并

14、行化 EM及VBEM的并行化 E-step(mapper): 可以方便地并行计算 M-step(reducer): 累加E-step各部分统计量后更新模型 将更新后的模型分发到新的E-step各个计算服务器上 AD-LDA: Gibbs Sampling的并行化 Mapper: 在部分data上分别进行Gibbs sampling Reducer: 全局Update 文档的Topic model抽取可以认为是一个大量(而非海 量)数据运算，采用类MPI架构的分布式计算架构(例 如spark)会比map/reduce效率更高 行为定向(Behavior targeting) 根据用户历史上网记录

15、和其他数据总结出用户兴趣，根 据此投放广告 举例 Yahoo BT(Behaviorial Targeting) 受众定向标签体系举例 Yahoo BT标签体系： Finance - Bank Accounts, Credit Cards, Investiment, Insurance, Loans, Real Estate, . Service - Local, Wireless, Gas 4切成两个Term: (age, 3), (age, 4)；state CA;NY也切 成两个Term: (state, CA), (state, NY)，和体现在倒排链表上 计算Conjunction的size，将size体现在Term中，最终的Term的 组成是(sizeofConjunction, 属性, 值) 对于size为0的Conjunction，添加一个特殊的Term：Z，