Ta strona została przetłumaczona przez Cloud Translation API.
Switch to English

tf.nn.batch_normalization

TensorFlow 1 wersja Zobacz źródło na GitHub

Batch normalizacja.

Normalizuje tensora przez mean i variance oraz zastosowanie (opcjonalnie) scale \ (\ gamma \) do niej, a także offset \ (\ p \)

\ (\ Frac {\ y (X \ iM)} {\ Sigma} + \ p \)

mean , variance , offset i scale są oczekuje się od jednej z dwóch form:

  • We wszystkich ogólności, mogą mieć taką samą liczbę wymiarów jak wejściowego x , o identycznych wymiarach jak x o wymiarach, które nie zostały znormalizowane przez (wymiar „głębokości” (a)), a wymiar 1 do innych, które są znormalizowane się. mean i variance w tym wypadku zazwyczaj Wyjścia tf.nn.moments(..., keepdims=True) podczas szkolenia lub prowadzenie ich średnie podczas wnioskowania.
  • We wspólnym przypadku, gdy wymiar „głębokość” jest ostatnim wymiar tensora wejściowego x , mogą być jednowymiarowe tensory tej samej wielkości jak wymiar „głębokości”. Tak jest w przypadku, na przykład dla wspólnego [batch, depth] układ pełni połączone warstwy i [batch, height, width, depth] dla zwojów. mean i variance w tym wypadku zazwyczaj Wyjścia tf.nn.moments(..., keepdims=False) podczas szkolenia lub prowadzenie ich średnie podczas wnioskowania.

Patrz równanie 11 w algorytmie 2 źródła: Batch Normalizacja: Przyspieszenie Głębokie sieci szkoleniowej poprzez zmniejszenie wewnętrznego współzmiennej Shift; S. Ioffe C. Szegedy .

x Wejście Tensor arbitralnej wymiarowości.
mean Średnią Tensor .
variance Odchylenie Tensor .
offset Przesunięcie Tensor często oznaczany \ (\ p \) w równaniach lub brak. Jeśli obecny, można dodać do znormalizowanego tensora.
scale Skala Tensor często oznaczany \ (\ y \) w równaniach lub None . Jeśli występuje, jest stosowana na skalę znormalizowanej tensora.
variance_epsilon Niewielka ilość pływaka zapobiec dzieleniu przez 0.
name Nazwa tej operacji (opcjonalnie).

Znormalizowany, skalowane, offset tensor.

Bibliografia:

Batch Normalizacja - Przyspieszenie Głębokie sieci szkoleniowej poprzez zmniejszenie wewnętrznego współzmiennej SHIFT: . Ioffe et al, 2015 ( pdf )