分类数据
分类数据¶
Dask DataFrame 将 分类数据 分为两种类型
已知分类数据（Known categoricals）在静态时（在
_meta属性上）已知其categories。每个分区必须具有与_meta属性上相同的类别未知分类数据（Unknown categoricals）在静态时不知道类别，并且每个分区可能具有不同的类别。在内部，未知分类数据由
_meta属性的 categories 中存在dd.utils.UNKNOWN_CATEGORIES来指示。由于大多数 DataFrame 操作会传播类别，因此已知/未知状态应在操作中传播（类似于NaN的传播方式）
对于指定为描述的元数据（上面的选项 2），会创建未知分类数据。
某些操作仅适用于已知分类数据。例如，df.col.cat.categories 仅在 df.col 具有已知类别时才有效，因为分类映射仅在已知分类数据的元数据上静态已知。
分类列的已知/未知状态可以使用分类访问器上的 known 属性找到
>>> ddf.col.cat.known
False
此外，未知分类数据可以使用 .cat.as_known() 转换为已知。如果一个 DataFrame 中有多个分类列，您可能希望改用 df.categorize(columns=...)，这将把所有指定列转换为已知分类数据。由于获取类别需要对数据进行完整扫描，因此使用 df.categorize() 比为每个列调用 .cat.as_known() 更高效（后者会导致多次扫描）
>>> col_known = ddf.col.cat.as_known() # use for single column
>>> col_known.cat.known
True
>>> ddf_known = ddf.categorize() # use for multiple columns
>>> ddf_known.col.cat.known
True
要将已知分类数据转换为未知分类数据，还有一个 .cat.as_unknown() 方法。这不需要计算，因为它只是元数据的一个更改。
非分类列可以通过几种不同的方式转换为分类数据
# astype operates lazily, and results in unknown categoricals
ddf = ddf.astype({'mycol': 'category', ...})
# or
ddf['mycol'] = ddf.mycol.astype('category')
# categorize requires computation, and results in known categoricals
ddf = ddf.categorize(columns=['mycol', ...])
此外，从 Pandas 0.19.2 及更高版本开始，dd.read_csv 和 dd.read_table 可以通过将列 dtype 指定为 'category' 来直接将数据读入未知分类列
>>> ddf = dd.read_csv(..., dtype={col_name: 'category'})
此外，从 Pandas 0.21.0 及更高版本开始，dd.read_csv 和 dd.read_table 可以通过指定 pd.api.types.CategoricalDtype 的实例来直接将数据读入已知分类数据
>>> dtype = {'col': pd.api.types.CategoricalDtype(['a', 'b', 'c'])}
>>> ddf = dd.read_csv(..., dtype=dtype)
如果您写入并读取 parquet 文件，Dask 会忘记已知类别。这是因为出于性能考虑，所有类别都保存在每个分区中，而不是保存在 parquet 元数据中。可以通过手动加载类别来解决。
>>> import dask.dataframe as dd
>>> import pandas as pd
>>> df = pd.DataFrame(data=list('abcaabbcc'), columns=['col'])
>>> df.col = df.col.astype('category')
>>> ddf = dd.from_pandas(df, npartitions=1)
>>> ddf.col.cat.known
True
>>> ddf.to_parquet('tmp')
>>> ddf2 = dd.read_parquet('tmp')
>>> ddf2.col.cat.known
False
>>> ddf2.col = ddf2.col.cat.set_categories(ddf2.col.head(1).cat.categories)
>>> ddf2.col.cat.known
True