Python科学计算与数据处理ppt课件

上传人:桔**** 文档编号:586068415 上传时间:2024-09-03 格式:PPT 页数:63 大小:328KB
返回 下载 相关 举报
Python科学计算与数据处理ppt课件_第1页
第1页 / 共63页
Python科学计算与数据处理ppt课件_第2页
第2页 / 共63页
Python科学计算与数据处理ppt课件_第3页
第3页 / 共63页
Python科学计算与数据处理ppt课件_第4页
第4页 / 共63页
Python科学计算与数据处理ppt课件_第5页
第5页 / 共63页
点击查看更多>>
资源描述

《Python科学计算与数据处理ppt课件》由会员分享,可在线阅读,更多相关《Python科学计算与数据处理ppt课件(63页珍藏版)》请在金锄头文库上搜索。

1、1pandas数据规整化目录o合并数据集n数据库风格的DataFrame合并n索引上的合并n轴向连接n合并重叠数据o重塑和轴向旋转n重塑层次化索引n将“长格式”旋转为“宽格式”2目录o数据转换n移除重复数据n利用函数或映射进行数据转换n替换值n重命名轴索引n离散化和面元划分n检测和过滤异常值n排列和随机采样n计算指标/哑变量34数据分析和建模方面的大量编程工作都是用在数据准备上的:加载、清理、转换以及重塑。有时候,存放在文件或数据库中的数据并不能满足数据处理应用的要求。pandas和Python标准库提供了一组高级的、灵活的、高效的核心函数和算法,它们能够轻松地将数据规整化为正确的形式。合并数

2、据集pandas对象中的数据可以通过一些内置的方式进行合并:npandas.merge可根据一个或多个键将不同DataFrame中的行连接起来。nPandas.concat可以沿着一条轴将多个对象堆叠到一起。n实例方法combine_first可以将重复数据编接在一起,用一个对象中的值填充另一个对象中的缺失值。5合并数据集o数据库风格的DataFrame合并数据集的合并(merge)或连接(join)运算是通过一个或多个键将行链接起来的。这些运算是关系型数据库的核心。pandas的merge函数是对数据应用这些算法的主要切入点。以一个简单的例子开始:6frompandasimportSerie

3、s,DataFrameimportpandasaspddf1=DataFrame(key:b,b,a,c,a,a,b,data1:range(7)df2=DataFrame(key:a,b,d,data2:range(3)合并数据集这是一种多对一的合并。df1中的数据有多个被标记为a和b的行,而df2中key列的每个值则仅对应一行。对这些对象调用merge即可得到:注意,并没有指明要用哪个列迸行连接。如果没有指定,merge就会将重叠列的列名当做键。不过,最好显式指定一下:7df1df2pd.merge(df1,df2)pd.merge(df1,df2,on=key)合并数据集如果两个对象的列

4、名不同,也可分别进行指定:结果里面c和d以及与之相关的数据消失了。默认情况下,merge做的是“inner”连接:结果中的键是交集。其他方式还有“left”、“right”以及“outer”。外连接求取的是键的并集,组合了左连接和右连接的效果:8df3=DataFrame(lkey:b,b,a,c,a,a,b,data1:range(7)df4=DataFrame(rkey:a,b,d,data2:range(3)pd.merge(df3,df4,left_on=lkey,right_on=rkey)pd.merge(df1,df2,how=outer)合并数据集多对多的合并操作非常简单,无需

5、额外的工作。如下所示:多对多连接产生的是行的笛卡尔积。由于左边的DataFrame有3个“b”行,右边的有2个,所以域终结果中就有6个“b”行。连接方式只影响出现在结果中的键:9df1=DataFrame(key:b,b,a,c,a,b,data1:range(6)df2=DataFrame(key:a,b,a,b,d,data2:range(5)df1pd.merge(df1,df2,on=key,how=left)pd.merge(df1,df2,how=inner)合并数据集要根据多个键进行合并,传入一个由列名组成的列表即可:结果中会出现哪些键组合取决于所选的合并方式,也可以这样来理解:

6、多个键形成一系列元组,并将其当做单个连接键(当然,实际上并不是这么回事)。注意:在进行列-列连接时,DataFrame对象中的索引会被丢弃。10left=DataFrame(key1:foo,foo,bar,key2:one,two,one,lval:1,2,3)right=DataFrame(key1:foo,foo,bar,bar,key2:one,one,one,two,lval:4,5,6,7)pd.merge(left,right,on=key1,key2,how=outer)合并数据集11对于合并运算需要考虑的最后一个问题是对重复列名的处理。虽然可以手工处理列名重叠的问题,但mer

7、ge有一个更实用的suffixes选项,用于指定附加到左右两个DataFrame对象的重叠列名上的字符串:merge函数的参数pd.merge(left,right,on=key1)pd.merge(left,right,on=key1,suffixes=(_left,_right)参数说明left参与合并的左侧DataFrameright参与合并的右侧DataFramehow“inner”、“outer”、“left”、“right”其中之一。默认为“inner”合并数据集12参数说明on用于连接的列名。必须存在于左右两个DataFrame对象中。如果未指定,且其他连接键也未指定,则以lef

8、t和right列名的交集作为连接键left_on左侧DataFrame中用作连接键的列right_on右侧DataFrame中用作连接键的列leftjndex将左侧的行索引用作其连接键rightjndex类似于leftjndexsort根据连接键对合并后的数据进行排序,默认为True。有时在处理大数据集时,禁用该选项可获得更好的性能suffixes字符串值元组,用于追加到重叠列名的末尾,默认为(_x,_y).例如,如果左右两个DataFrame对象都有data,则结果中就会出现“data一x”和“data一y”copy设置为False,可以在某些特殊情况下避免将数据复制到结果数据结构中。默认总

9、是复制合并数据集o索引上的合并有时DataFrame中的连接键位于其索引中。在这种情况下,你可以传入left_index=True或right_index=True(或两个都传)以说明索引应该被用作连接键:13pd.merge(left,right,on=key1,suffixes=(_left,_right)left1=DataFrame(key:a,b,a,a,b,c,value:range(6)right1=DataFrame(group_val:3.5,7,index=a,b)left1right1pd.merge(left1,right1,left_on=key,right_inde

10、x=True)合并数据集由于默认的merge方法是求取连接键的交集,因此可通过外连接的方式得到它们的并集:对于层次化索引的数据,稍微复杂些:14pd.merge(left1,right1,left_on=key,right_index=True,how=outer)lefth=DataFrame(key1:Ohio,Ohio,Ohio,Nevada,Nevada,key2:2000,2001,2002,2001,2002,data:np.arange(5.)righth=DataFrame(np.arange(12).reshape(6,2),index=Nevada,Nevada,Ohio,

11、Ohio,Ohio,Ohio,2001,2000,2000,2000,2001,2002,columns=event1,event2)lefthrighth合并数据集这种情况下,必须以列表的形式指明用作合并键的多个列(注意对重复索引值的处理):同时使用合并双方的索引也没问题:15pd.merge(lefth,righth,left_on=key1,key2,right_index=True)pd.merge(lefth,righth,left_on=key1,key2,right_index=True,how=outer)left2=DataFrame(1.,2.,3.,4.,5.,6.,in

12、dex=a,c,e,columns=Ohio,Nevada)right2=DataFrame(7.,8.,9.,10.,11.,12.,13,14,index=b,c,d,e,columns=Missouri,Alabama)left2right2pd.merge(left2,right2,how=outer,left_index=True,right_index=True)合并数据集16DataFrame还有一个join实例方法,它能更为方便地实现按索引合并。它还可用于合并多个带有相同或相似索引的DataFrame对象,而不管它们之间有没有重叠的列。由于一些历史原因(早期版本的pandas)

13、,DataFrame的join方法是在连接键上做左连接。它还支持参数DataFrame的索引跟调用者DataFrame的某个列之间的连接:left2.join(right2,how=outer)left1.join(right1,on=key)合并数据集17最后,对于简单的索引合并,还可以向join传入一组DataFrame(后面会介绍更为通用的concat函数,它也能实现此功能):another=DataFrame(7.,8.,9.,10.,11.,12.,16.,17.,index=a,c,e,f,columns=NewYork,Oregon)left2.join(right2,anoth

14、er)left2.join(right2,another,how=outer)合并数据集o轴向连接另一种数据合并运算也被称作连接(concatenation)、绑定(binding)或堆叠(stacking)。NumPy有一个用于合并原始NumPy数组的concatenation函数:18arr=np.arange(12).reshape(3,4)arrarray(0,1,2,3,4,5,6,7,8,9,10,11)np.concatenate(arr,arr,axis=1)array(0,1,2,3,0,1,2,3,4,5,6,7,4,5,6,7,8,9,10,11,8,9,10,11)合并

15、数据集对于pandas对象(如Series和DataFrame),带有标签的轴能够进一步推广数组的连接运算。假设有三个没有重叠索引的Series:对这些对象调用concat可以将值和索引粘合在一起:19s1=Series(0,1,index=a,b)s2=Series(2,3,4,index=c,d,e)s3=Series(5,6,index=f,g)pd.concat(s1,s2,s3)a0b1c2d3e4f5g6dtype:int64合并数据集默认情况下,concat是在axis=0上工作的,最终产生一个新的Series。如果传入axis=1,则结果就会变成一个DataFrame(axis

16、=1是列):这种情况下,另外一条轴上没有重叠,从索引的有序并集(外连接)上就可以看出来。传入join=inne即可得到它们的交集:20pd.concat(s1,s2,s3,axis=1)s4=pd.concat(s1*5,s3)pd.concat(s1,s4,axis=1)pd.concat(s1,s4,axis=1,join=inner)合并数据集可以通过join_axes指定要在其他轴上使用的索引:想要参与连接的片段在结果中区分开。可在连接轴上创建一个层次化索引。使用keys参数即可达到这个目的:21pd.concat(s1,s4,axis=1,join_axes=a,c,b,e)resu

17、lt=pd.concat(s1,s1,s3,keys=one,two,three)resultonea0b1twoa0b1threef5g6dtype:int64合并数据集如果沿着axis=1对Series进行合并,则keys就会成为DataFrame的列头:同样的逻辑对DataFrame对象也是一样:如果传入的不是列表而是一个字典,则字典的键就会被当做keys选项的值22pd.concat(s1,s2,s3,axis=1,keys=one,two,three)df1=DataFrame(np.arange(6).reshape(3,2),index=a,b,c,columns=one,two

18、)df2=DataFrame(5+np.arange(4).reshape(2,2),index=a,c,columns=three,four)pd.concat(df1,df2,axis=1,keys=level1,level2)pd.concat(level1:df1,level2:df2,axis=1)合并数据集23此外还有两个用于管理层次化索引创建方式的参数.DataFrame行索引:在这种情况下,传入ignore_index=True即可:pd.concat(df1,df2,axis=1,keys=level1,level2,names=upper,lower)df1=DataFra

19、me(np.random.randn(3,4),columns=a,b,c,d)df2=DataFrame(np.random.randn(2,3),columns=b,d,a)df1df2pd.concat(df1,df2,ignore_index=True)合并数据集concat函数的参数24objs参与连接的pandas对象的列表或字典。唯一必需的参数axis指明连接的轴向,默认为0join“inner”、“outer”其中之_,默认为“outer”。指明其他轴向上的索引是按交集(inner)还是并集(outer)进行合并join_axes指明用于其他n-1条轴的索引,不执行并集/交集运

20、算keys与连接对象有关的值,用于形成连接轴向上的层次化索引。可以是任意值的列表或数组、元组数组、数组列表(如果将levels设置成多级数组的话)levels指定用作层次化索引各级别上的索引,如果设置了keys的话names用于创建分层级别的名称,如果设置了keys和(或)levels的话verify_integrity检查结果对象新轴上的重复情况,如果发现则引发异常。默认(False)允许重复ignore_index不保留连接轴上的索引,产生一组新索引range(total_length)合并数据集o合并重叠数据还有一种数据组合问题不能用简单的合并(merge)或连接(concatenati

21、on)运算来处理。比如说,可能有索引全部或部分重叠的两个数据集。给这个例子增加一点启发性,使用NumPy的where函数,它用于表达一种矢量化的if-else:25a=Series(np.nan,2.5,np.nan,3.5,4.5,np.nan,index=f,e,d,c,b,a)b=Series(np.arange(len(a),dtype=np.float64),index=f,e,d,c,b,a)合并数据集Series有一个combine_first方法,实现的也是一样的功能,而且会进行数据对齐:26b-1=np.nanafNaNe2.5dNaNc3.5b4.5aNaNdtype:fl

22、oat64b:-bine_first(a2:)aNaNb4.5c3.0bf0e1d2c3b4aNaNdtype:float64np.where(pd.isnull(a),b,a)array(0.,2.5,2.,3.5,4.5,nan)d2.0e1.0f0.0dtype:float64合并数据集27对于DataFrame,combine_first自然也会在列上做同样的事情,因此可以将其看做用参数对象中的数据为调用者对象的缺失数据“打补丁”:df1=DataFrame(a:1.,np.nan,5.,np.nan,b:np.nan,2.,np.nan,6,c:range(2,18,4)df2=Da

23、taFrame(a:5.,4.,np.nan,3.,7.,b:np.nan,3.,4.,6.,8.)bine_first(df2)重塑和轴向旋转28有许多用于重新排列表格型数据的基础运算,这些函数也称作重塑(reshape)或轴向旋转(pivot)运算。o重塑层次化索引层次化索引为DataFrame数据的重排任务提供了一种具有良好一致性的方式。主要功能有二:nstack:将数据的列“旋转”为行。nunstack:将数据的行“旋转”为列。重塑和轴向旋转看一个简单的DataFrame,其中的行列索引均为字符串:使用该数据的stack方法即吋将列转换为行,得到一个Series:29data=Data

24、Frame(np.arange(6).reshape(2,3),index=pd.Index(Ohio,Colorado,name=state),columns=pd.Index(one,two,three,name=number)dataresult= data.stack()resultstatenumberOhioone0two1three2Coloradoone3two4three5dtype:int32重塑和轴向旋转对一个层次化索引的Series,可以用unstack将其重排为一个DataFrame:默认情况下,unstack操作的是最内层(stack也是如此)。传入分层级别的编号或

25、名称即可对其他级别进行unstack操作:30result.unstack()result.unstack(0)result.unstack(state)重塑和轴向旋转如果不是所有的级別值都能在各分组中找到的话,则unstack操作可能会引入缺失数据:stack默认会滤除缺失数据,因此该运算是可逆的:31s1=Series(0,1,2,3,index=a,b,c,d)s2=Series(4,5,6,index=c,d,e)data2=pd.concat(s1,s2,keys=one,two)data2.unstack()data2.unstack().stack()data2.unstack(

26、).stack(dropna=False)重塑和轴向旋转在对DataFrame进行unstack操作时,作为旋转轴的级別将会成为结果中的最低级別:32df=DataFrame(left:result,right:result+5,columns=pd.Index(left,right,name=side)dfdf.unstack(state)df.unstack(state).stack(side)重塑和轴向旋转33o将“长格式”旋转为“宽格式”时间序列数据通常是以所谓的“长格式”(long)或“堆叠格式”(stacked)存储在数据库和CSV中的:1data:10数据转换到目前为止介绍的都是

27、数据的重排。另一类重要操作则是过滤、清理以及其他的转换工作。o移除重复数据DataFrame中常常会出现重复行。下面就是一个例子:DataFrame的duplicated方法返回一个布尔型Series,表示各行是否是重复行:34data=DataFrame(k1:one*3+two*4,k2:1,1,2,3,3,4,4)datadata.duplicated()数据转换还有一个与此相关的drop_duplicates方法,它用于返回一个移除了重复行的Data_Frame:这两个方法默认会判断全部列,也可以指定部分列进行重复项判断。假设还有一列值,且只希望根据k1列过滤重复项:35data.dr

28、op_duplicates()datav1=range(7)data.drop_duplicates(k1)数据转换36duplicated和drop_duplicates默认保留的是第一个出现的值组合。传入take_last=True则保留最后一个:data.drop_duplicates(k1,k2,take_last=True)数据转换o利用函数或映射进行数据转换在对数据集进行转换时,可能希望根据数组、Series或DataFrame列中的值来实现该转换工作。37data=DataFrame(food:bacon,pulledpork,bacon,Pastrami,cornedbeef,

29、Bacon,pastrami,honeyham,novalox,ounces:4,3,12,6,7.5,8,3,5,6)data数据转换假设想要添加一列表示该肉类食物来源的动物类型。Series的map方法可以接受一个函数或含有映射关系的字典型对象,但是这里有一个小问题,即有些肉类的首字母大写了,而另一些则没有。因此,还需要将各个值转换为小写:38meat_to_animal=bacon:pig,pulledpork:pig,pastrami:cow,cornedbeef:cow,honeyham:pig,novalox:salmondataanimal=datafood.map(str.lo

30、wer).map(meat_to_animal)data数据转换也可以传入一个能够完成全部这些工作的函数:使用map是一种实现元素级转换以及其他数据清理工作的便捷方式。39datafood.map(lambdax:meat_to_animalx.lower()0pig1pig2pig3cow4cow5pig6cow7pig8salmonName:food,dtype:object数据转换40o替换值利用fillna方法填充缺失数据可以看做值替换的一种特殊情况。虽然前面提到的map可用于修改对象的数据子集,而replace则提供了一种实现该功能的更简箏、更灵活的方式。看看下面这个Series:a

31、ta=Series(1.,-999.,2.,-999.,-1000.,3.)data011-999223-9994-100053数据转换-999这个值可能是一个表示缺失数据的标记值。要将其替换为pandas能够理解的NA值,可以利用replace来产生一个新的Series:如果希望一次性替换多个值,可以传入一个由待替换值组成的列表以及一个替换值:41data.replace(-999,np.nan)011NaN223NaN4-100053dtype:float64data.replace(-999,-1000,np.nan)Out58:011NaN223NaN4NaN53dtype:float

32、64数据转换如果希望对不同的值进行不同的替换,则传入一个由替换关系组成的列表即可:42data.replace(-999,-1000,np.nan,0)011NaN223NaN4053dtype:float64#传入的参数也可以是字典:data.replace(-999:np.nan,-1000:0)数据转换43o重命名轴索引跟Series中的值一样,轴标签也可以通过函数或映射进行转换,从而得到一个新对象。轴还可以被就地修改,而无需新建一个数据结构。跟Series一样,轴标签也有一个map方法:data=DataFrame(np.arange(12).reshape(3,4),index=Oh

33、io,Colorado,NewYork,columns=one,two,three,four)data.index.map(str.upper)array(OHIO,COLORADO,NEWYORK,dtype=object)数据转换可以将其赋值给index,这样就以对DataFrame进行就地修改了:如果想要创建数据集的转换版(而不是修改原始数据),比较实用的方法是rename:44data.index=data.index.map(str.upper)datadata.rename(index=str.title,columns=str.upper)数据转换45特別说明一下,rename可

34、以结合字典型对象实现对部分轴标签的更新:rename实现了:复制DataFrame并对其索引和列标签进行赋值。如果希望就地修改某个数据集,传入inplace=True可:#总是返MDataFrame的引用_=data.rename(index=OHIO:INDIANA,inplace=True)datadata.rename(index=OHIO:INDIANA,columns=three:peekaboo)数据转换46o离散化和面元划分为了便于分析,连续数据常常被离散化或拆分为“面元”(bin)。假设有一组人员数据,而希望将它们划分为不同的年龄组:接下来将这些数据划分为“18到25”、“26

35、到35”、“35到60”以及“60以上”几个面元。要实现该功能,需要使用pandas的cut函数:ages=20,22,25,27,21,23,37,31,61,45,41,32bins=18,25,35,60,100cats=pd.cut(ages,bins)cats数据转换pandas返回的是一个特殊的Categorical对象。可以将其看做一组表示面元名称的字符串。实际上,它含有一个表示不同分类名称的levels数组以及一个为年龄数据进行标号的labels属性:47cats.labelsarray(0,0,0,1,0,0,2,1,3,2,2,1,dtype=int8)cats.level

36、sIndex(u(18,25,u(25,35,u(35,60,u(60,100,dtype=object)pd.value_counts(cats)(18,255(35,603(25,353(60,1001dtype:int64数据转换跟“区间”的数学符号一样,圆括号表示开端,而方括号则表示闭端(包括)。哪边是闭端可以通过right=False进行修改:48pd.cut(ages,18,26,36,61,100,right=False)18,26),18,26),18,26),26,36),18,26),.,26,36),61,100),36,61),36,61),26,36)Length:1

37、2Categories(4,object):18,26)26,36)36,61)group_names=Youth,YoungAdul,MiddleAged,Seniorpd.cut(ages,bins,labels=group_names)Youth,Youth,Youth,YoungAdul,Youth,.,YoungAdul,Senior,MiddleAged,MiddleAged,YoungAdulLength:12Categories(4,object):YouthYoungAdulMiddleAgeddata=np.random.rand(20)pd.cut(data,4,prec

38、ision=2)(0.29,0.49,(0.69,0.89,(0.69,0.89,(0.29,0.49,(0.69,0.89,.,(0.094,0.29,(0.49,0.69,(0.49,0.69,(0.49,0.69,(0.29,0.49Length:20Categories(4,object):(0.094,0.29(0.29,0.49(0.49,0.69data=np.random.randn(1000)cats=pd.qcut(data,4)#按四分位数进行切割catspd.value_counts(cats)(0.755,3.27250(0.0421,0.755250(-0.623,

39、0.0421250-3.0985,-0.623250dtype:int64数据转换跟cut一样,也可以设置自定义的分位数(0到1之间的数值,包含端点):稍后在讲解聚合和分组运算时会再次用到cut和qcut,因为这两个离散化函数对分量和分组分析非常重要。52pd.qcut(data,0,0.1,0.5,0.9,1.)Out91:(0.0421,1.349,(0.0421,1.349,(-1.201,0.0421,(-1.201,0.0421,(-1.201,0.0421,.,(0.0421,1.349,(-1.201,0.0421,(0.0421,1.349,(-1.201,0.0421,(-1

40、.201,0.0421Length:1000Categories(4,object):-3.0985,-1.201(-1.201,0.0421(0.0421,1.349np.random.seed(12345)data=DataFrame(np.random.randn(1000,4)data.describe()col=data3colnp.abs(col)3973.927528305-3.399312400-3.745356Name:3,dtype:float64数据转换54要选出全部含有“超过3或-3的值”的行,可以利用布尔型DataFrame以及any方法:根据这些条件,即可轻松地对值

41、进行设置。下阁的代码可以将值限制在区间-3到3以内:np.sign这个ufunc返回的是一个由1和-1组成的数组,表示原始值的符号。data(np.abs(data)3).any(1)datanp.abs(data)3=np.sign(data)*3data.describe()数据转换o排列和随机采样利用numpy.random.permutation函数可以轻松实现对Series或DataFrame的列的排列工作(permuting,随机重排序)。通过需要排列的轴的长度调用penmutation,可产生一个表示新顺序的整数数组:55df=DataFrame(np.arange(5*4).r

42、eshape(5,4)sampler=np.random.permutation(5)samplerarray(1,0,2,3,4)数据转换56然后就可以在基于ix的索引操作或take函数中使用该数组了:如果不想用替换的方式选取随机子集,则可以使用permutation:从permutation返回的数组中切下前k个元素,其中k为期望的子集大小。dfdf.take(sampler)df.take(np.random.permutation(len(df):3)数据转换57要通过替换的方式产生样本,最快的方式是通过np.random.randint得到一组随机整数:bag=np.array(5,

43、7,-1,6,4)sampler=np.random.randint(0,len(bag),size=10)samplerarray(1,3,1,0,1,4,4,1,1,4)draws=bag.take(sampler)drawsarray(7,6,7,5,7,4,4,7,7,4)数据转换o计算指标/哑变量另一种常用于统计建模或机器学习的转换方式是:将分类变量(categoricalvariable)转换为“哑变量矩阵”(dummymatrix)或“指标矩阵”(indicatormatrix)。如果DataFrame的某一列中含有k个不同的值,则可以派生出一个k列矩阵或DataFrame(其值

44、全为1和0)。pandas有一个get_dummies函数可以实现该功能:58df=DataFrame(key:b,b,a,c,a,b,data1:range(6)pd.get_dummies(dfkey)数据转换59给指标DataFrame的列加上一个前缀,以便能够跟其他数据进行合并。get_dummies的prefix参数可以实现该功能:如果DataFrame中的某行同属于多个分类,则事情就会有点复杂。回到本书前面那个MovieLenslM数据集上:dummies=pd.get_dummies(dfkey,prefix=key)df_with_dummy=dfdata1.join(dumm

45、ies)df_with_dummymnames=movieid,title,genresmovies=pd.read_table(ch02/movielens/movies.dat,.:sep=:,header=None,names=mnames)movies:10数据转换要为每个genre添加指标变量就需要做一些数据规整操作。首先,从数据集中抽取出不同的genre值(注意巧用set.union):现在,从一个全零DataFrame开始构建指标DataFrame:60genre_iter=(set(x.split(|)forxinmovies.genres)genres=sorted(set.

46、union(*genre_iter)dummies=DataFrame(np.zeros(len(movies),len(genres),columns=genres)数据转换接下来,迭代每一部电影并将dummies各行的项设置为1:然后,再将其与movies合并起来:61fori,geninenumerate(movies.genres):dummies.ixi,gen.split(|)=1movies_windic=movies.join(dummies.add_prefix(Genre_)movies_windic.ix0数据转换62一个对统计应有用的秘诀是:结合get_dummies和诸如cut之类的离散化函数。values=np.random.rand(10)valuesbins=0,0.2,0.4,0.6,0.8,1pd.get_dummies(pd.cut(values,bins)63

展开阅读全文
相关资源
正为您匹配相似的精品文档
相关搜索

最新文档


当前位置:首页 > 办公文档 > 教学/培训

电脑版 |金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号