Python学习 Day14
Pandas
6、文件读取与存储
2、hdf
1、读取 -- pd.read_hdf() 2、写入 -- 对象.to_hdf() 注意:保存文件是 *****.h5
3、json
1、读取 -- pd.read_json() 2、写入 -- 对象.to_json()
参数: orient --按照什么方式进行读取或者写入 lines -- 是否按照行读取和写入
4、拓展
优先选择使用hdf文件存储
1、hdf5在存储时支持压缩,使用的方式是blosc,这个是速度最快的也是pandas默认支持的 2、使用压缩可以提磁盘利用率,节省空间 3、hdf5还是跨平台的,可以轻松迁移到hadoop上面
7、缺失值处理
缺失值NaN的数据类型为浮点型
1、处理nan
判断数据是否是NaN: np.any(pd.isnull(df)):里面如果有一个缺失值,就返回true np.all(pd.notnull(df)):里面如果有一个缺失值,就返回False
处理方式: 存在缺失值nan,并且是np.nan: 1、删除缺失值nan的:dropna(axis='rows') 注:不会修改原数据,需要接受返回值 2、替换缺失值:fillna(value,inplace-True) value:替换成的值 inplace:True:会修改原数据,false:不替换修改原数据,生成新的对象
不是缺失值nan,有默认标记的 当数据中出现 ?时处理思路: 1、先替换“?”为np.nan 对象.replace(to_replace=,value=np.nan)
to.replace:替换的值 value:替换后的值
2、再进行缺失值的处理
8、数据离散化
连续属性离散化的目的是为了简化数据结构,数据离散化技术可以用来减少给定连续属性值的个数。 把一些数据分到某个区间,最后用不同的符号或数字表达。
1、使用的工具
1、pd.qcut(data,q=分组个数):把数据大致分为数量相等的几类 对数据进行分组将数据分组,一般会与value_counts搭配使用,统计每组的个数
series.value_counts():统计分组次数
2、自定义分组:指定分组区间 pd.cut(data,bins): 自定义bins: bins=[-1,-2,-3]等
2、one-hot编码
把每个类别生成一个布尔列,这些列中只有一列可以为这个样本取值为1,其又称为热编码。
pandas.get_dummies(data,prefix=None) prefix:分组名称
9、合并
1、pd.concat实现数据合并
pd.concat([data1,data2],axis=1) 按照行或列进行合并,axis=0为列索引,=1为行索引。当不指定axis时默认为对角线合并。
2、pd.merge(left,right,how='inner',on=None,left_on=None,right_on=None)
可以指定两组数据的共同键值对合并或者左右各自表 left:左表 right:右表 on:指定键 left_on,right_on:指定左右键 how:以怎样的形式拼接,分为inner(内连接),outter(保留所有数据),left(左连接)right(右连接)。
10、交叉表,透视表
1、使用crosstab(交叉表)
交叉表:用于计算一列数据对于另一列数据的分组个数(寻找两列数据之间的关系) pd.crosstab(value1,value2)拿到的是数据 调用pd内自带的plot画图 对象.plot(kinf='bar',stacked=True)stacked是否堆积,bar为柱状图
2、透视表pivot_table
DataFrame.pivot_table([列名],index=[列名])拿到的是占比
11、分组与聚合
分组API 对象.groupby(key,as_index=False) key:分组的列数据,可以多个 as_index:是否添加索引
例:对象.groupby(['color'])['price1'].mean() 指的是按照颜色进行分组,然后根据价格求平均值进行聚合
