Ta strona została przetłumaczona przez Cloud Translation API.
Switch to English

tf.distribute.HierarchicalCopyAllReduce

TensorFlow 1 wersja Zobacz źródło na GitHub

Redukcja z zastosowaniem hierarchicznej kopii całkowicie zredukować.

Stosowany w notebookach

Używany w przewodniku

To sprowadza się do jednego GPU wzdłuż krawędzi w jakiejś hierarchii i transmisje z powrotem do każdego GPU tą samą ścieżką. Przed wykonaniem wszystko zredukować, tensory zostaną przepakowane lub zagregowane dla bardziej efektywnego transportu na różnych urządzeniach.

Jest to redukcja stworzony dla Nvidia DGX-1, która zakłada, że ​​GPU Łączy jak na DGX-1 maszyny. Jeśli masz różne GPU wzajemnych połączeń, jest prawdopodobne, że będzie wolniejszy niż tf.distribute.ReductionToOneDevice .

num_packs Wartości będą pakowane w tym wiele podziałów. num_packs powinna być większa lub równa 0. Gdy jest zero, bez pakowania zostaną wykonane.

ValueError jeśli num_packs jest ujemna.

metody

batch_reduce

Pokaż źródło

Zmniejszyć obiektów PerReplica w partii.

Zmniejsz każdy pierwszy element value_destination_pairs do każdego drugiego elementu, która wskazuje adresatów.

To może być szybsza niż wielokrotne indywidualne reduce s ponieważ możemy łączą kilka tensory do jednego lub wielu paczek przed redukcją.

args
reduce_op Instancja tf.distribute.ReduceOp który wskazuje, w jaki sposób per_replica_value zostanie zmniejszona.
value_destination_pairs Listę lub krotką obiektów PerReplica (lub tensorów z zestawem urządzeń, jeżeli istnieje jedno urządzenie) i miejsc docelowych.
experimental_hints A tf.distrbute.experimental.CollectiveHints . Wskazówki do wykonywania operacji grupowych.

Zwroty
lista obiektów lustrzanych.

podbicia
ValueError jeśli value_destination_pairs nie jest iterable krotek obiektów PerReplica i miejsc.

broadcast

Pokaż źródło

Rozgłaszanie tensor do miejsc przeznaczenia.

args
tensor tensor do audycji.
destinations cele do audycji.

Zwroty
obiekt lustrzanymi.

reduce

Pokaż źródło

Zmniejszyć per_replica_value do destinations .

Biegnie operację zmniejszenia określonego przez reduce_op i umieścić wynik na destinations .

args
reduce_op Instancja tf.distribute.ReduceOp który wskazuje, jak będzie per_replica_value zostać zmniejszona.
per_replica_value tf.distribute.DistributedValues przedmiot lub napinacz z zestawu urządzeń.
destinations Miejsca docelowe redukcji.
experimental_hints A tf.distrbute.experimental.CollectiveHints . Wskazówki do wykonywania operacji grupowych.

Zwroty
obiekt lustrzanymi.

podbicia
ValueError jeśli per_replica_value nie można przekształcić w obiekt PerReplica czy miejsca docelowe nie są ciągi, zmienne lub DistributedValues