此页面由 Cloud Translation API 翻译。
Switch to English

tf.VariableAggregation

TensorFlow 1版 GitHub上查看源代码

表示分布式变量将如何进行汇总。

tf.distribute.Strategy通过使在输入批次的不同元件作用的数据并行多个拷贝(称为“副本”)分布的模型。当执行一些可变更新操作,说var.assign_add(x)在模型中,我们需要解决如何将不同的值,结合x在不同的副本计算。

  • NONE :这是默认的,如果您使用多个副本可变更新操作给了一个错误。
  • SUM :添加副本对面的更新。
  • MEAN :以整个副本的更新的算术平均值(“平均”)。
  • ONLY_FIRST_REPLICA :这是每个副本正在执行相同的更新,但我们只希望进行一次更新。使用,例如,全球计步器。

类变量

  • MEAN
  • NONE
  • ONLY_FIRST_REPLICA
  • SUM