《第4章 三心二意数据处理课件》由会员分享，可在线阅读，更多相关《第4章 三心二意数据处理课件（69页珍藏版）》请在金锄头文库上搜索。
1、第 4 章 三心二意数据处理,主要内容：4.1、何为数据处理4.2、数据清洗4.3、数据加工4.4、数据抽样4.5、本章小结,4.1.1 数据处理原则“三心二意”,平淡、平等、平静地对待问题,诚心诚意， 诚实、尊重事实。,4.1.2 数据处理的内容,数据清洗,数据加工,数据处理的内容,重复数据的处理,检查数据逻辑错误,缺失数据的处理,数据抽取,数据计算,数据分组,数据转换,多一分则肥，少一分则瘦。, 函数法：用函数识别重复数据。 高级筛选法：直接利用筛选功能筛选出非重复值。 条件格式法：以不同的颜色标识重复项。 数据透视表法：用数据透视表统计各数据出现的频次。,4.2.1 重复数据处理, 函数
2、法（使用COUNTIF函数）criteria的形式可以是数字、条件或文本。 如果是数字直接写数字，如果是条件或文本要加双引号。,EXCEL引用单元格,相对引用：引用格式形如“A1”，这种对单元格的引用是完全相对的，当引用单元格的公式被复制时，新公式引用的单元格的行列都会发生改变。,EXCEL引用单元格,绝对引用：引用格式形如“$A$1”，这种对单元格引用的方式是完全绝对的，即一旦成为绝对引用，无论公式如何被复制，对采用绝对引用的单元格的引用位置是不会改变的。,EXCEL引用单元格,绝对行引用：引用格式形如“A$1”。这种对单元格的引用位置不是完全绝对的，当引用该单元格的公式被复制时，新公式对列
3、的引用将会发生变化，而对行的引用则固定不变。,绝对列引用：引用格式形如“$A1”。这种对单元格的引用位置不是完全绝对的，当引用该单元格的公式被复制时，新公式对行的引用将会发生变化，而对列的引用则固定不变。,EXCEL引用单元格,函数法操作步骤：,第一步：选中B2单元格，输入函数公式：=COUNTIF(A:A，A2)，（显示“重复次数”） 第二步：选中C2单元格，输入函数公式：=COUNTIF(A$2:A2，A2)，（显示“第几次出现”）, 高级筛选法 step 1: 选择数据单元格区域A1：A11 step 2: 数据 排序和筛选 高级 弹出“高级筛选”对话框 step 3: 选择“将筛选结果
4、复制到其他位置”，在“复制到”文本框 输入B1区域，勾选“选择不重复的记录”，单击“确定”。,高级筛选对话框的操作, 条件格式法“开始” “条件格式” “突出显示单元格规则”“重复值”WPS表格中：数据 “重复项”“高亮显示重复值”。把重复的数据及所在单元格 标为不同的颜色。, 数据透视表法, 删除重复数据的方法 方法一：通过菜单操作删除重复项。 Step 1: 选择数据区域A1：A11； Step 2: “数据” “删除重复项”； Step 3: 在“列”区域下，选择要删除的列，单击“确定”。,方法二：通过排序删除重复项利用函数识别重复数据的辅助列：第二次重复标记 Step 1: 选中“第二
5、次重复项”中的任意一个单元格； Step 2: 选择“开始”主选项卡 “编辑部分”功能区“排序和筛选” “降序”,方法三：通过筛选删除重复项利用函数识别重复数据的辅助列：第二次重复标记。 Step 1: 选中“第二次重复项”中的任意一个单元格； Step 2: “数据” “排序和筛选” “筛选”，点一下第二次重复标记单元格中的“三角形”，弹出下拉菜单。挑出不等于1的数值，筛选后就得到非重复项了。,4.2.2 缺失数据的处理,缺失数据：是指数据集中某个或某些属性的值是不完全的。,数据缺失的原因,机械原因,人为原因,数据收集或保存失败。 如数据存储的失败、存储器损坏、 机械故障等,人的主观失误、历
6、史局限、有意隐瞒。 如市场调查中被访人拒绝透露、回答无效、 录入人员失误遗漏。,缺失值缺失可接受的标准：10%以下, 定位输入（如果缺失的值是空白单元格） “开始”主选项 “编辑”功能区“查找和替换”下“定位条件”或者快捷键方式：“Ctrl+G“，弹出“定位”对话框，然后，选择“定位条件” “空值”，确定（所有空值被一次性选中）,处理缺失值的四种方法： 方法一：用一个样本统计量的值（如样本均值）代替缺失值 方法二：用一个统计模型计算处理的值去代替缺失值 方法三：将有缺失值的记录删除，可能会导致样本量的减少 方法四：将有缺失值的记录保留，仅在相应的分析中做必要的排除。,“Ctrl+Enter“快
7、捷键：在不连续的区域中一次性输入同一个数据或公式。 Step 1: 按住“Ctrl”键，选择多个单元格或区域，直到选中所有需要数据的单元格后松开“Ctrl”键，被选中的 单元格以深色显示；,Step 2: 松开“Ctrl”键后，输入需要录入的数据，显示在最后一个选中的单元格；,Step 3: 按“Ctrl+Enter“快捷键，则所有选中的单元格都输入了第二步中输入的数据。, 查找替换（如果缺失值以错误标识符出现）“开始”主选项卡的“编辑”功能区中，单击“查找和替换”。,Ctrl+F,Ctrl+H,Ctrl+G,例：查找错误标识符“#DIV/0”，并将其全部替换为“0” Step 1: 选中所有
8、数据区域； Step 2: 按“Ctrl+H”快捷键，弹出“查找和替换”对话框； Step 3: 在“查找内容”和“替换为”右侧输入框中，输入相应的内容，再单击“全部替换”。,4.2.3 检查数据的逻辑错误,常见的两类逻辑错误： 被调查者输入的选项不符合要求。 录入错误。,IF函数,条件格式,见效快、疗效好、安全可靠、无副作用, 利用“IF函数”检查错误IF函数的组成部分：需要判断的表达式，表达式为真时的显示值，表达式为假时的显示值。,IF函数注意事项：a: 条件表达式是用比较运算符（）建立的式子，没有比较就没有判断。b: 两个值若是数值数据可直接书写，若是文本数据则要用双引号标记。c: 参数
9、里面所有用到的标点符号都是英文状态下的标点符号。d: IF函数可以进行嵌套，最多可以有七层。,比较运算符及判断,“IF(COUNTIF(B3:H3,“0“)3,“错误“,“正确“) 含义：如果录入的选项（非零数据）超过3个，则单元格显示“错误”，否则显示“正确”。, 利用条件格式标记错误, 利用条件格式标记错误选中数据区域B3：H6， “开始”主选项卡 “条件格式”“突出显示单元格规格” “其他规则” 在“为符合此公式的值设置格式” 文本框中输入 “=OR(B3=1,B3=0)=FALSE”,4.3 数据加工,对现有字段进行抽取、计算或者转换，形成我们分析所需要的一列新的数组字段。,4.3.1
10、 数据抽取,数据抽取：是指保留原数据表中某些字段的部分信息，组合成一个新的字段。 字段分列：截取某一字段的部分信息。 字段合并：将几个字段合并为一个新的字段。 字段匹配：将原数据表中没有但其他数据表中有的字段，有效的匹配过来。, 字段分列 1、菜单法（如将姓名分成姓和名两列） Step 1: 选择需要转换的数据区域，“数据” “分列”，弹出“文本分列向导”对话框；,Step 2: 在“文本分列向导第1步”对话框中，单击“分隔符号”，再单击“下一步”。,Step 3: 在“文本分列向导第2步”对话框中，选择所需要的分隔符号。,2、 函数法（没有特定的分隔符）,例：把姓名中的姓氏截取出来。（左起第
11、一个字符）输入公式“=LEFT(A2,1)”, 字段合并（将文字或数字合并成一个单元格） CONCATENATE: 将数据列表中多个字符串连接成新的的字符串。 逻辑与运算符：“&”。,5、=A2&“迟到“&B2&“次“ 6、=A3&“迟到比例为“&TEXT(B3,“0%“) 7、=CONCATENATE(A2,“迟到“,B2,“次“),1、TEXT函数的含义：Text函数表示将数值转化为自己想要的文本格式。 2、TEXT函数的语法格式：=TEXT(value,format_text), 字段匹配,VLOOKUP匹配函数,Step 1: 打开需要匹配的两张表格。 Step 2: 在“员工个人信息
12、（销售部）”表格的F2单元格输 入公式“=VLOOKUP(B2,包含数据的区域,3,0)“ B2：要在表格第一列中查找的值； 包含数据的区域：不需要手动输入，直接选中； 3：希望返回的匹配值的列序号； 0：精确匹配。 Step 3: 向下拖动完成所有数据的提取。,4.3.2 数据计算, 简单计算简单计算就是字段通过加、减、乘、除等简单的算术运 算就能计算处来的。加、减、乘、除对应的运算符“+、-、*、/”,Step 1: 在D2中输入“=B2*C2”，按回车键“Enter“; Step 2: 鼠标移动到D2单元格右下角，出现填充柄“+”，双击填充柄或者按住向下拖动，会自动填充运算结果。 Ste
13、p 3: 自动求和。选中D7单元格，公式“=SUM(D2:D6)“开始” “编辑” “自动求和” “求和”., 函数计算（复杂运算）1、平均值与总和,2、日期的加减法输入当前日期：=TODAY( )，年月日，“Ctrl+;“输入当前时间：=NOW( )，年月日时分秒,“Ctrl+Shift+;“公式插入的是动态的日期或时间；快捷键插入的是静态的日期或时间。DATE(year,month,day)，三个参数，分别表示“年月日“YEAR()，返回某日期对应的年份；MONTH()，返回月份，“112”DAY()，返回日期，“131”。,3、用函数DATEDIF计算工龄DATEDIF(start_da
14、te,end_date,unit)计算两个日期之间年月日的间隔数。unit的六种形式：“y“: 时间段中的整年数“m“：时间段中的整月数“d“：时间段中的整天数“md“：天数的差，忽略日期中的年和月；“ym“：月数的差，忽略日期中的年和日；“yd“：天数的差，忽略日期中的年；,时间段中所有间隔数，没有忽略,4.3.3 数据分组,Step 1: 准备一个分组对应表，用来确定分组的范围和标准;“阈值”是指每组覆盖的数据范围中的最低值，如“5-10元”的阈值就是5；“分组”记录的是每一组的组名，如“0-5元”；“备注”记录如何分组，方便数据处理人员理解和识别。,Step 2: 在B2单元格中输入公式
15、：“=VLOOKUP(A2,$D$2:$E$12,2)“第四个参数逻辑值省略了1， 此处默认为近似匹配。,4.3.4 数据转换, 数据表的行列互换,首先复制好数据区域，用三种方式进行选择性黏贴： 第一种：“开始” “粘贴”按钮 “选择性黏贴。 第二种：快捷键“Ctrl+Alt+V“,第三种：直接将数据粘贴在其他区域，粘贴区域的右下角会显示“粘贴”下拉菜单图标, 多选题录入方式之间的转换多重分类法录入的数据 二分法录入的数据,F5=IF(ISNUMBER(HLOOKUP(1，B5：D5，1,0),1,0)ISNUMBER函数:判断引用的参数或指定单元格中的值是否为数字，其语法结构为ISNUMBER（value）, 如果检验的内容为数字，将返回TRUE，否则将返回FALSE。 IF函数有三个参数，语法格式： =IF(条件判断, 结果为真返回值, 结果为假返回值),SEARCH函数：返回指定字符串在原始字符串中首次出现的位置。 SEARCH(find_text, within_text, star_num) 第三个参数：如果是从第一个字符开始查找时可以省略。 SEARCH(“1“,B4)：在B4单元格的字符串中查找1.,
