切换导航

.rst .pdf

目录

API

创建 Bag

from_sequence(seq[, partition_size, npartitions])	从 Python 序列创建 dask Bag。
from_delayed(values)	从多个 dask Delayed 对象创建 Bag。
from_url(urls)	从 URL 创建 dask Bag。
range(n, npartitions)	从零到 n 的数字
read_text(urlpath[, blocksize, compression, ...])	从文本文件读取行
read_avro(urlpath[, blocksize, ...])	读取一组 avro 文件

从 DataFrame 创建

DataFrame.to_bag([index, format])	从 Series 创建 Dask Bag
Series.to_bag([index, format])	从 Series 创建 Dask Bag

顶级函数

concat(bags)	将多个 Bag 拼接在一起，联合所有元素。
map(func, *args, **kwargs)	对一个或多个 Bag 的元素逐一应用函数。
map_partitions(func, *args, **kwargs)	对一个或多个 Bag 的每个分区应用函数。
to_textfiles(b, path[, name_function, ...])	将 dask Bag 写入磁盘，每个分区一个文件名，每个元素一行。
zip(*bags)	按分区的 Bag zip 操作

随机抽样

random.choices(population[, k, split_every])	返回一个大小为 k 的列表，元素可重复抽取。
random.sample(population, k[, split_every])	从 Bag 中抽取 k 个唯一的随机元素。

将 Bag 转换为其他类型

Bag.to_textfiles(path[, name_function, ...])	将 dask Bag 写入磁盘，每个分区一个文件名，每个元素一行。
Bag.to_dataframe([meta, columns, optimize_graph])	从 Dask Bag 创建 Dask DataFrame。
Bag.to_delayed([optimize_graph])	转换为 dask.delayed 对象列表，每个分区一个。
Bag.to_avro(filename, schema[, ...])	将 Bag 写入一组 avro 文件

Bag 方法

Bag(dsk, name, npartitions)	Python 对象的并行集合
Bag.accumulate(binop[, initial])	重复地将二元函数应用于序列，累积结果。
Bag.all([split_every])	所有元素都是真值吗？
Bag.any([split_every])	任何元素是真值吗？
Bag.compute(**kwargs)	计算此 dask 集合
Bag.count([split_every])	计算元素数量。
Bag.distinct([key])	集合中的不同元素
Bag.filter(predicate)	使用谓词函数过滤集合中的元素。
Bag.flatten()	将嵌套列表展平为一个长列表。
Bag.fold(binop[, combine, initial, ...])	可并行化的归约
Bag.foldby(key, binop[, initial, combine, ...])	结合归约和分组。
Bag.frequencies([split_every, sort])	计算每个不同元素的出现次数。
Bag.groupby(grouper[, method, npartitions, ...])	按键函数对集合进行分组
Bag.join(other, on_self[, on_other])	将集合与另一个集合连接。
Bag.map(func, *args, **kwargs)	对一个或多个 Bag 的元素逐一应用函数。
Bag.map_partitions(func, *args, **kwargs)	对一个或多个 Bag 的每个分区应用函数。
Bag.max([split_every])	最大元素
Bag.mean()	算术平均值
Bag.min([split_every])	最小元素
Bag.persist(**kwargs)	将此 dask 集合持久化到内存
Bag.pluck(key[, default])	从集合中的所有元组/字典中选择项。
Bag.product(other)	两个 Bag 的笛卡尔积。
Bag.reduction(perpartition, aggregate[, ...])	使用归约运算符归约集合。
Bag.random_sample(prob[, random_state])	以 prob 的概率返回 Bag 中的元素。
Bag.remove(predicate)	删除集合中符合谓词的元素。
Bag.repartition([npartitions, partition_size])	在新的划分上重新对 Bag 进行分区。
Bag.starmap(func, **kwargs)	使用给定 Bag 中的参数元组应用函数。
Bag.std([ddof])	标准差
Bag.sum([split_every])	求所有元素之和
Bag.take(k[, npartitions, compute, warn])	取前 k 个元素。
Bag.to_avro(filename, schema[, ...])	将 Bag 写入一组 avro 文件
Bag.to_dataframe([meta, columns, optimize_graph])	从 Dask Bag 创建 Dask DataFrame。
Bag.to_delayed([optimize_graph])	转换为 dask.delayed 对象列表，每个分区一个。
Bag.to_textfiles(path[, name_function, ...])	将 dask Bag 写入磁盘，每个分区一个文件名，每个元素一行。
Bag.topk(k[, key, split_every])	集合中最大的 K 个元素
Bag.var([ddof])	方差
Bag.visualize([filename, format, optimize_graph])	使用 graphviz 渲染此对象的任务图计算过程。

Item 方法

Item(dsk, key[, layer])
Item.apply(func)
Item.compute(**kwargs)	计算此 dask 集合
Item.from_delayed(value)	从 dask.delayed 值创建 bag 项。
Item.persist(**kwargs)	将此 dask 集合持久化到内存
Item.to_delayed([optimize_graph])	转换为 dask.delayed 对象。
Item.visualize([filename, format, ...])	使用 graphviz 渲染此对象的任务图计算过程。

上一页

创建 Dask Bag

下一页

dask.bag.from_sequence