Day 17 [Python ML、Pandas] 资料类型和遗失值

import pandas as pd
reviews = pd.read_csv("./winemag-data-130k-v2.csv", index_col=0)
pd.set_option('max_rows', 5)

Dtype

DataFrame或是Series的资料型态都是dtype

reviews.price.dtype

dtype('float64')

reviews.dtypes

country        object
description    object
                ...  
variety        object
winery         object
Length: 13, dtype: object

可以利用astype这个函数将资料型态进行转换

reviews.points.astype("float64")

0         87.0
1         87.0
          ... 
129969    90.0
129970    90.0
Name: points, Length: 129971, dtype: float64

dataframe的index也有一样的dtype

reviews.index.dtype

dtype('int64')

Missing Values

通常没有资料的资料型态会写做NaN，意思是Not a Number

pandas有提供一些方法可以处理这些空缺值，用pd.isnull(column)可以选取这些空值

reviews[pd.isnull(reviews.country)]

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

填补这些空缺值是很常见的操作

pandas有提供一个简单的操作来解决这个问题fillna()

像是我们可以将NaN替换成Unknown

reviews.region_2.fillna("Unknown")

0         Unknown
1         Unknown
           ...   
129969    Unknown
129970    Unknown
Name: region_2, Length: 129971, dtype: object

若要将资料替换掉也有很方便的方式，可以使用replace()

reviews.taster_twitter_handle.replace("@kerinokeefe", "@kerino")

0            @kerino
1         @vossroger
             ...    
129969    @vossroger
129970    @vossroger
Name: taster_twitter_handle, Length: 129971, dtype: object