Operacja ładująca parametry optymalizacyjne do pamięci wbudowanej.
Operacja ładująca parametry optymalizacyjne do pamięci wbudowanej. Musi być poprzedzony operacją ConfigureTPUEmbeddingHost, która konfiguruje poprawną konfigurację tabeli osadzania. Na przykład ta operacja służy do instalowania parametrów ładowanych z punktu kontrolnego przed wykonaniem pętli szkoleniowej. W przypadku Adagradu pomocnicze1 powinny być akumulatorami. W przypadku SGD wszystkie wartości pomocnicze* powinny być puste. W przypadku FTRL, pomocniczy1 powinien być akumulatorami, a pomocniczy2 powinien być członami liniowymi. W przypadku programu ADAM pomocnicza1 powinna być pędem, a pomocnicza2 powinna być prędkością.
Metody publiczne
statyczne parametry LoadAllTPUEmbedding | utwórz (zakres zakresu , parametry Iterable< Operand <Float>>, Iterable< Argument <Float>> aux1, Iterable< Argument <Float>> aux2, Iterable< Argument <Float>> aux3, Iterable< Argument <Float>> aux4, Iterowalny< Operand <Float>> pomocniczy5, Iterowalny< Operand <Float>> pomocniczy6, Iterowalny< Operand <Float>> pomocniczy7, Konfiguracja ciągu, Długie numShards, Długie shardId) Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację LoadAllTPUEmbeddingParameters. |
Metody dziedziczone
Metody publiczne
public static LoadAllTPUEmbeddingParameters create (zakres zasięgu , parametry Iterable< Operand <Float>>, Iterable< Operand <Float>> aux1, Iterable< Operand <Float>> aux2, Iterable< Operand <Float>> aux3, Iterable< Argument <Float> > pomocniczy4, Iterowalny< Argument <Float>> pomocniczy5, Iterowalny< Argument <Float>> pomocniczy6, Iterowalny< Argument <Float>> pomocniczy7, Konfiguracja ciągu, Długie numShards, Długie shardId)
Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację LoadAllTPUEmbeddingParameters.
Parametry
zakres | aktualny zakres |
---|---|
parametry | Lista tensorów, po jednym dla każdej tabeli osadzania, zawierająca początkowe parametry tabeli osadzania do użycia podczas wyszukiwań osadzania. |
pomocniczy 1 | Lista tensorów, po jednym dla każdej tabeli osadzania, zawierająca początkowe wartości pierwszego pomocniczego parametru optymalizacyjnego do użycia podczas osadzania aktualizacji pętli szkoleniowej. Kształt każdego wpisu jest ignorowany (i dlatego może być pusty) w przypadku tych tabel, których algorytmy optymalizacyjne nie posiadają przynajmniej jednego parametru pomocniczego. |
pomocniczy 2 | Lista tensorów, po jednym dla każdej tabeli osadzania, zawierająca początkowe wartości drugiego pomocniczego parametru optymalizacyjnego do użycia podczas osadzania aktualizacji pętli szkoleniowej. Kształt każdego wpisu jest ignorowany (i dlatego może być pusty) w przypadku tych tabel, których algorytmy optymalizacyjne nie mają co najmniej dwóch pomocniczych |
pomocniczy 3 | Lista tensorów, po jednym dla każdej tabeli osadzania, zawierająca początkowe wartości trzeciego pomocniczego parametru optymalizacyjnego do użycia podczas osadzania aktualizacji pętli szkoleniowej. Kształt każdego wpisu jest ignorowany (i dlatego może być pusty) w przypadku tych tabel, których algorytmy optymalizacyjne nie mają trzech parametrów pomocniczych. |
pomocniczy 4 | Lista tensorów, po jednym dla każdej tabeli osadzania, zawierająca początkowe wartości drugiego pomocniczego parametru optymalizacyjnego do użycia podczas osadzania aktualizacji pętli szkoleniowej. Kształt każdego wpisu jest ignorowany (i dlatego może być pusty) w przypadku tych tabel, których algorytmy optymalizacyjne nie mają co najmniej czterech pomocniczych |
pomocniczy 5 | Lista tensorów, po jednym dla każdej tabeli osadzania, zawierająca początkowe wartości trzeciego pomocniczego parametru optymalizacyjnego do użycia podczas osadzania aktualizacji pętli szkoleniowej. Kształt każdego wpisu jest ignorowany (i dlatego może być pusty) w przypadku tych tabel, których algorytmy optymalizacyjne nie mają pięciu parametrów pomocniczych. |
pomocniczy6 | Lista tensorów, po jednym dla każdej tabeli osadzania, zawierająca początkowe wartości drugiego pomocniczego parametru optymalizacyjnego do użycia podczas osadzania aktualizacji pętli szkoleniowej. Kształt każdego wpisu jest ignorowany (i dlatego może być pusty) w przypadku tych tabel, których algorytmy optymalizacyjne nie mają co najmniej sześciu pomocniczych |
pomocniczy7 | Lista tensorów, po jednym dla każdej tabeli osadzania, zawierająca początkowe wartości trzeciego pomocniczego parametru optymalizacyjnego do użycia podczas osadzania aktualizacji pętli szkoleniowej. Kształt każdego wpisu jest ignorowany (i dlatego może być pusty) w przypadku tych tabel, których algorytmy optymalizacyjne nie mają szeregu parametrów pomocniczych. |
konfiguracja | Proto TPUEmbeddingConfiguration opisujące ładowane parametry tabeli, serializowane do ciągu. |
liczbaodłamków | Liczba fragmentów, na które podzielone są tabele osadzania. |
identyfikator fragmentu | Identyfikator fragmentu dla tej operacji. |
Zwroty
- nowa instancja LoadAllTPUEmbeddingParameters