AutoShardDataset

publiczna klasa końcowa AutoShardDataset

Tworzy zestaw danych, który dzieli wejściowy zestaw danych.

Tworzy zestaw danych, który dzieli wejściowy zestaw danych na fragmenty przez num_workers, zwracając podzielony na fragmenty zestaw danych dla indeksowanego procesu roboczego. Próbuje to automatycznie podzielić zbiór danych na fragmenty poprzez sprawdzenie wykresu zbioru danych i wstawienie operacji fragmentu przed danymi wejściowymi do zbioru danych czytnika (np. CSVDataset, TFRecordDataset).

Ten zestaw danych zgłosi błąd NotFound, jeśli nie będzie można automatycznie podzielić zestawu danych.

Klasy zagnieżdżone

klasa Opcje AutoShardDataset Opcjonalne atrybuty dla AutoShardDataset

Stałe

Strunowy OP_NAME Nazwa tej operacji znana silnikowi rdzenia TensorFlow

Metody publiczne

Wyjście < Typ T >
jako wyjście ()
Zwraca symboliczny uchwyt tensora.
statyczny zestaw danych AutoShardDataset.Options
autoShardPolicy (długie autoShardPolicy)
statyczny zestaw danych AutoShard
utwórz ( Zakres zakresu, Operand <?> inputDataset, Operand < TInt64 > numWorkers, Operand < TInt64 > indeks, List<Class<? Extends TType >> OutputTypes, Lista< Shape > OutputShapes, Opcje... opcje)
Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację AutoShardDataset.
Wyjście <?>
uchwyt ()

Metody dziedziczone

Stałe

publiczny statyczny końcowy ciąg znaków OP_NAME

Nazwa tej operacji znana silnikowi rdzenia TensorFlow

Wartość stała: „ExperimentalAutoShardDataset”

Metody publiczne

publiczne wyjście < TType > asOutput ()

Zwraca symboliczny uchwyt tensora.

Dane wejściowe operacji TensorFlow są wynikami innej operacji TensorFlow. Ta metoda służy do uzyskania symbolicznego uchwytu reprezentującego obliczenia danych wejściowych.

publiczny statyczny AutoShardDataset.Options autoShardPolicy (długie autoShardPolicy)

public static AutoShardDataset create ( Zakres zasięgu , Operand <?> inputDataset, Operand < TInt64 > numWorkers, Operand < TInt64 > indeks, List<Class<? Extends TType >> OutputTypes, List< Shape > OutputShapes, Opcje... opcje)

Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację AutoShardDataset.

Parametry
zakres aktualny zakres
wejściowy zbiór danych Tensor wariantu reprezentujący wejściowy zbiór danych.
liczbaPracowników Skalar reprezentujący liczbę procesów roboczych, pomiędzy którymi ma zostać rozprowadzony ten zestaw danych.
indeks Skalar reprezentujący indeks bieżącego pracownika spośród num_workers.
opcje przenosi opcjonalne wartości atrybutów
Zwroty
  • nowa instancja AutoShardDataset

publiczne wyjście <?> uchwyt ()