Se usó la API de Cloud Translation para traducir esta página.
Switch to English

tf.data.experimental.DistributeOptions

TensorFlow 1 versión Ver código fuente en GitHub

Representa opciones para el procesamiento de datos distribuidos.

Puede configurar las opciones de distribución de un conjunto de datos a través de la experimental_distribute propiedad de tf.data.Options ; la propiedad es una instancia de tf.data.experimental.DistributeOptions .

 options = tf.data.Options()
options.experimental_distribute.auto_shard_policy = AutoShardPolicy.OFF
dataset = dataset.with_options(options)
 

auto_shard_policy El tipo de sharding que la auto-fragmento debe tratar. Si esto se establece en ARCHIVO, entonces vamos a tratar de fragmentar mediante archivos (cada trabajador obtendrá un conjunto de archivos de proceso). Si no podemos encontrar un conjunto de archivos en un fragmento de al menos un archivo por trabajador, vamos a error a cabo. Cuando se selecciona esta opción, asegúrese de que tiene suficientes archivos para que cada trabajador recibe al menos un archivo. Habrá un error de ejecución arrojados si hay archivos insuficientes. Si está ajustado a los datos, a continuación, vamos a fragmentar por elementos producidos por el conjunto de datos, y cada trabajador a procesar todo el conjunto de datos y deseche la porción que no es por sí mismo. Si se establece en OFF, entonces no vamos a autoshard, y cada trabajador recibirá una copia del conjunto de datos completo. Esta opción se establece en AUTO de forma predeterminada, AUTO intentará primero fragmento de archivo y caer de nuevo a sharding por DATA si no podemos encontrar un conjunto de archivos de fragmento.
num_devices El número de dispositivos conectados a esta tubería de entrada. Esto se establecerá automáticamente por MultiDeviceIterator.

Métodos

__eq__

Ver fuente

Volver auto == valor.

__ne__

Ver fuente

de retorno automático! = valor.