此页面由 Cloud Translation API 翻译。
Switch to English

tf.data.experimental.DistributeOptions

TensorFlow 1版 GitHub上查看源代码

代表了分布式数据处理的选项。

您可以设置通过一个数据集的分布选项experimental_distribute财产tf.data.Options ;属性是实例tf.data.experimental.DistributeOptions

 options = tf.data.Options()
options.experimental_distribute.auto_shard_policy = AutoShardPolicy.OFF
dataset = dataset.with_options(options)
 

auto_shard_policy 该类型是分片自动碎片应该尝试的。如果设置为文件,然后我们将尝试通过文件分片(每个工人会得到一组文件要处理)。如果我们不能找到每个工人至少一个文件一组文件碎片的,我们会出错误。当选择此选项,请确保您有足够的文件,使每个工人获得至少一个文件。将会有一个运行时错误抛出,如果有文件不足。如果这被设置为DATA,那么我们将通过由数据集产生的元素分片,并且每个工人将处理整个数据集并丢弃,这并不是本身的部分。如果设置为OFF,那么我们就不会autoshard,每个工人将获得完整数据集的副本。此选项默认设置为自动,自动将首先尝试通过碎片文件,并回落至数据分片,如果我们不能找到一组文件到碎片。
num_devices 连接到该输入管道设备的数量。这将MultiDeviceIterator自动设置。

方法

__eq__

查看源代码

返回自我==值。

__ne__

查看源代码

返回自我!=值。