tensorflow:: ops:: FixedUnigramCandidateSampler

Generuje etykiety do pobierania próbek kandydatów z wykorzystaniem poznanego rozkładu unigramów.

Streszczenie

Próbnik unigramów mógłby wykorzystać stały rozkład unigramów odczytany z pliku lub przekazany jako tablica w pamięci, zamiast budować rozkład na podstawie danych „w locie”. Istnieje również możliwość odchylenia rozkładu poprzez zastosowanie mocy zniekształcenia do wag.

Plik słownika powinien być w formacie CSV, przy czym ostatnie pole powinno zawierać wagę przypisaną danemu słowu.

Dla każdej partii operacja ta wybiera pojedynczy zestaw próbkowanych etykiet kandydackich.

Zaletami pobierania próbek kandydatów z każdej partii są prostota i możliwość wydajnego mnożenia gęstych macierzy. Wadą jest konieczność wyboru kandydatów niezależnie od kontekstu i rzeczywistych etykiet.

Argumenty:

• zakres: obiekt zakresu
• true_classes: Macierz batch_size * num_true, w której każdy wiersz zawiera identyfikatory num_true target_classes w odpowiadającej oryginalnej etykiecie.
• num_true: Liczba etykiet true w danym kontekście.
• num_sampled: Liczba kandydatów do losowego wybrania.
• Unique: Jeśli wartość true jest równa true, pobieramy próbkę z odrzuceniem, tak aby wszyscy kandydaci w partii byli unikalni. Wymaga to pewnego przybliżenia w celu oszacowania prawdopodobieństwa pobrania próbek po odrzuceniu.
• range_max: Próbnik będzie pobierał próbki liczb całkowitych z przedziału [0, range_max).

Atrybuty opcjonalne (patrz Attrs ):

• vocab_file: Każdy prawidłowy wiersz w tym pliku (który powinien mieć format podobny do CSV) odpowiada prawidłowemu identyfikatorowi słowa. Identyfikatory są uporządkowane sekwencyjnie, zaczynając od num_reserved_ids. Ostatni wpis w każdym wierszu powinien być wartością odpowiadającą liczbie lub prawdopodobieństwu względnemu. Do tej operacji należy przekazać dokładnie jeden z elementów vocab_file i unigrams.
• Zniekształcenie: Zniekształcenie służy do odchylenia rozkładu prawdopodobieństwa unigramu. Każda waga jest najpierw podnoszona do potęgi zniekształcenia, a następnie dodawana do wewnętrznego rozkładu unigramu. W rezultacie zniekształcenie = 1,0 daje regularne próbkowanie unigramu (zgodnie z definicją w pliku słownika), a zniekształcenie = 0,0 daje rozkład jednostajny.
• num_reserved_ids: Opcjonalnie użytkownicy mogą dodać kilka zarezerwowanych identyfikatorów z zakresu [0, ..., num_reserved_ids). Jednym z przypadków użycia jest użycie specjalnego, nieznanego tokena słownego jako identyfikatora 0. Te identyfikatory będą miały prawdopodobieństwo próbkowania równe 0.
• num_shards: Próbnik może być użyty do pobrania próbek z podzbioru oryginalnego zakresu w celu przyspieszenia całego obliczenia poprzez paralelizm. Ten parametr (wraz z parametrem „shard”) wskazuje liczbę partycji używanych w całym obliczeniu.
• Fragment: Próbnik może być użyty do pobrania próbek z podzbioru oryginalnego zakresu, aby przyspieszyć całe obliczenia poprzez paralelizm. Ten parametr (wraz z parametrem „num_shards”) wskazuje konkretny numer partycji operacji próbnika, gdy używane jest partycjonowanie.
• unigrams: Lista liczb lub prawdopodobieństw unigramów, po jednym na identyfikator w kolejności sekwencyjnej. Do tej operacji należy przekazać dokładnie jeden z parametrów vocab_file i unigrams.
• seed: Jeśli albo seed, albo seed2 są ustawione na wartość różną od zera, generator liczb losowych jest zasiewany na podstawie podanego seeda. W przeciwnym razie jest zasiewany na podstawie losowego seeda.
• seed2: Drugie nasiono zapobiegające kolizji z nasionami.

Zwroty:

• Output sampled_candidates: wektor o długości num_sampled, w którym każdy element jest identyfikatorem wybranego kandydata.
• Output true_expected_count: Macierz batch_size * num_true, reprezentująca oczekiwaną liczbę wystąpień każdego kandydata w partii wybranych kandydatów. Jeśli unique=true, jest to prawdopodobieństwo.
• Output sampled_expected_count: Wektor o długości num_sampled dla każdego kandydata z próby, reprezentujący oczekiwaną liczbę wystąpień kandydata w partii kandydatów z próby. Jeśli unique=true, jest to prawdopodobieństwo.

Atrybuty publiczne

Operation operation

::tensorflow::Output sampled_candidates

::tensorflow::Output sampled_expected_count

::tensorflow::Output true_expected_count

 FixedUnigramCandidateSampler(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input true_classes,
  int64 num_true,
  int64 num_sampled,
  bool unique,
  int64 range_max
)

 FixedUnigramCandidateSampler(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input true_classes,
  int64 num_true,
  int64 num_sampled,
  bool unique,
  int64 range_max,
  const FixedUnigramCandidateSampler::Attrs & attrs
)

Attrs Distortion(
  float x
)

Attrs NumReservedIds(
  int64 x
)

Attrs NumShards(
  int64 x
)

Attrs Seed(
  int64 x
)

Attrs Seed2(
  int64 x
)

Attrs Shard(
  int64 x
)

Attrs Unigrams(
  const gtl::ArraySlice< float > & x
)

Attrs VocabFile(
  StringPiece x
)