Logistic 模型及建模流程概述1. Logistic 模型介绍1.1问题的提出YES在商业及金融领域中，存在这么一类问题，问题中需要被解释的目标量通常可以用 或者NO两种取值来表示，如：■ 卖出了商品为YES未卖出商品为 NQ0 顾客对超市的本次宣传活动做了响应为 YES没有任何响应为 NQ0 信用卡持卡人本月逾期付款为 YES按时还款了为NQ对于这类问题的分析，我们不可以采用标准的线性回归对其进行建模分析，是因为一目标变量的二元分布违背了线性回归的重要假设一 模型的目标是给出一个(0，1)之间的概率，而标准的线性回归模型产生的值是在 这个范围之外1.2 Logistic 模型对于上述问题，我们提出了 logistic模型:1- P一八J '讥e匚"：：亠二.■'iXi1 e iLogistic 模型可以保证:Q Xi值在-::和+二之间；□ 估计出来的概率值在 0和1之间；0 与事件odds( odds = p/(1 - p))直接相关；exp（ ：1花 必"1 • exp（ ：0 卡 nXn）-可以很好地将问题转化为数学问题，并且模型结果容易解释;1.3 Logistics 回归的假设Q 概率是自变量的logistics 函数这样得到的概率似乎没有实际意义，只是反映一种趋势， 7 • h •…h】nx比较大时p就会比较大取log值得到：logodds这样可以线性化，我们把这模型称为’ lin ear in the log-odds '-模型假设：1) 没有重要变量被忽略，不包含使得系数有偏的相关变量2) 不包含外来变量，包含的不相关变量会增加参数估计的标准误差，但是却不会 使得系数有偏。
7观测值独立一自变量的观测值没有误差1.4最大似然准则抛一枚硬币10次，结果如下：T H T T T H T T T H假设结果独立，考虑得到的结果的概率， P(T H T T T H T T T H)=P(T)P(H)P(T)P(T)P(T)P(H)P(T)P(T)P(T)P(H)=P(H)3 [1-P(H)] 7，如果我们能计算出参数P(H)的值，就能得到掷硬币结果的概率的数值如果我们已知掷硬币的结果，如何得到 P(H)的值呢？假设P=P(H)，y=硬币头像一面朝上的次数， n=掷硬币的次数似然函数给出了掷硬币结果的似然值，它是 P的函数；L(P|y) =Py(1-P)3最大似然估计指出 P的最佳估计值是使得似然函数最大的值为了简化计算，代替最大化 L(P)，我们对L(P)取log值，然后取最大值，log是单调递增函数，这样使得 L(P)最大的P的值也是使得log ( L(P))最大的值最大化log似然函数，使：L(P |Y) = Py(1 _P)i解出P值：n1.5将最大似然估计用于logistics 回归令Y=（y1,y2,y3,…,y n）是随机变量（丫1,丫2,丫3,…..Y n）的一组样本值,L (Y )(1where但是假如样本值不独立的话，此步骤就存在问题。
对似然函数取log值，得:l(Y)logWyii(1-J")i =1log(yii(1 -i)yi(1i))jiyilog(rlog(V i)1XiIT令 log(Logistics 回归的似然等式lCo, 1| 丫尸yi1Xi1 exp( °必）对上式的参数取导数:l ( ■ 0, ■ 1 | 丫)Jonzi =1yii =1nzi =1exp( o '1Xiexp( ： o Fi)：：l（ I 丫）Xi『i-zi 二1Xi exp( ： o : 1Xi)使上面两式为零，解出参数的似然估计值这些方程都是非线性的，所以利用迭代可以找出答案这个过程也有可能是不收敛的在介绍完logistic 模型后，我们开始按照数据建模的流程来对各个分析环节进行讨论2. 模型设计(Model Design )2.1建模目标我们在对数据做分析之前，首先需要考虑的是构造模型的商业目的所在 比如说我们针对汽车贷款的数据进行分析， 是希望能够估计出每笔汽车贷款人可能会发生违约的概率， 从而建立一个信贷审批的决策流程 如果没有明确模型的目的和用途， 模型的构建工作就难进行下去除了明确建模商业目的外， 我们还需要确定模型的实施事项。
比如说构建好的模型是实验模型，局域范围内使用，还是全面推广；模型的使用时间是多长；……，这些问题都需要 事先考虑清楚总的来说，我们在建模分析模型之前，需要考虑好：- 我们为什么需要模型？- 如何使用我们建好的模型？一 谁将使用我们的模型？- 模型什么时候需要？2.2数据明确了建模目标之后，我们需要系统地整理我们的数据或者说样本了我们需要了解：. 我们可能可以运用的数据有哪些；- 哪些是内部数据源的数据，哪些是需要向客户索取的；■我们需要多久的数据；Q 数据有部分缺失怎么办；□ 如何抽取能够代表总体的无偏样本；- 是不是每个变量都有现实意义；我们还需要单独针对目标变量进行分析 在解决某些问题的时候， 目标变量并不能很容 易的明确下来，我们需要根据实际的业务经验，将数据做一些统计、变换， 得到建模所需的目标变量值比方说，我们在预测每位汽车贷款人发生违约的概率时， 我们需要实现定义哪些贷款人发生过违约，那什么样的行为才能定义为违约呢？在美国， 通常定义联系9个月以上没有还款的行为定义为违约事件，在建模时，我们将这样一批样本的目标变量定义为“ 1 ”，剩余样本的目标变量定义为“ 0”，然后再用logisitic 模型对其建模分析。
在建模过程之前，我们需要对抽取出来的样本进行分成训练集、 验证集和测试集，分别用于不同的建模分析阶段3. 解释变量分析(Exploratory analysis )3.1 变量筛选(Variable Reduction )在整理完我们允许使用的变量数据后， 接下去的任务就是从大量的数据中找出对目标变量有解释意义的变量来我们可以通过下述的几个方面对变量进行分析，初步筛选U VIP 变量(VIP variables )在解决某些实际问题的过程中， 因为业务人员对变量选择可能有一定的要求， 他们因为实际的业务需求明确规定了哪些变量必须进入模型； 另外，一些有类似建模经验的建模人员也可能会提出模型很大可能会用到某些变量， 因此我们在变量筛选时首先需要建立一个 VIP变量组，该组的变量不需要经过筛选，直接进入模型Q 无监督的变量筛选( Non-supervised variable reduction )无监督的变量筛选是指在筛选变量时不需要利用目标量信息的筛选方法代表方法有- 聚类分析- 主成分分析p有监督的变量筛选同理，有监督的变量筛选是指需要结合目标变量的信息才能进行的筛选方法 我们一般采用的有：- 相关性分析- 建立回归模型- 信息值分析每个变量与目标变屋之间的关系3.2变量分析每个变呈的频数统计在经过一轮变量的预筛选之后，我 们需要专门针对筛选出来的变量 进行更进一步的分析。
缺失值填充变量的截断处理4. 模型选择(ModelSelection )文案大全爱换字符型变屋的处理如何衡量模型是否有效？我们下面介绍几种在实际操作中常用的判断方法4.1 Lift/Gain ' s chart优势：a.可以用业务语言非常容易地解释；b. 易观察，对商业决策有直观的帮助劣势：a.无法直接用数字给出结果；b. 图形和程度有时候会给人错觉；4.2 KS值Kolmogorov-Smir nov Test, MAD= Sup|F_r — F_n| ,MAD是 ROC曲线之间差值的最大值如右图蓝线就是 MAD)我们通过曲线图可以：U对整体样本按照转移率进行排序;◎比较0,1两种取值的分布；3确定两种取值分布的分离度；这种方式比较容易理解，现已经广泛运用于模型选择 分析中，SAS中的NPAR1WA过程步也可以直接计算出来但是度量的效果受样本排序方式的影响较大， 某一排序区间的样本分布也可能会对最终的结果产生较大的影响一般情况下，训练集与测试集的 KS值差别不会很大，好的模型KS值一般在［0.25 ,0.75 区间内4.3信息值即 距离：fr( s)IV = .(fr(s) - fn(s)) log dsfn(s)这种方法与KS原理类似，也可以很容易地比较 0, 1两种取值的分布，并且能够用于处 理字符型变量。
但是与 KS值一样，某一排序区间的样本分布也可能会对最终的结果产生较大的影响；另外SAS中没有现成的过程步可以产生这个结果4.4 Gini 系数由意大利统计学家 Corrado Gini 在1912 年提出， 它通常被定义为 GINI图中的A/(A+B)的值Gini系数是通过0, 1两种分布的距离来衡量的，SAS里也有过程步可以直接计算，但是对于非统计学家来说，这个名词较为专业了些事实上，Gini系数一般在［-1，1］区间内，很 多分析师习惯用 C-value进行分析而忽略Gini系 数的分析4.5 C-value & ConcordantC-value是ROC曲线下的区域： A+DNcCon corda nt tTiesC = Con corda nt2tC-value与Gini系数的原理类似，通过 Gini系数也可以C-value的值C= Gi ni+0.5(1-Gi ni)Receiver Operati ng Characteristic (ROC)Curve般情况下，C-value值在［0，1］区间内，好的模型该值一般在 0.6~0.9之间4.6 Total varianee Reduction (TVR)TVRTVR可以衡量模型打分的排序能力，但是因为在计算时我们通常用V。
来代替TVR的值，所以我们得到只能是一种近似值在实际处理过程中，我们可能还存在一些其他的度量方式，在这里就不一一赘述了5. 建模的后续工作当我们构建了合适的分析模型后，我们还有一些后续工作需要完成:模型后续分析模型实施■ •模型验证•模型局部表现验证•基于模型结果的商业策畴■ •系统中的模型部署 ・数馭欣型运行流 程测试•系统中的模型效果 测试• •禅本穩定性监腔•啖型选驱的变量监控•定期的有效性报告模型监控另外，在提交成果时我们还需将模型的设计书、代码、变量说明等材料打包一并提交, 并且上报模型的更新计划6. 参考文献(referenee )[1] Agresti, A. (1990) Categorical 。