tensorflow :: ops :: StringSplit

Podziel elementy danych input na podstawie delimiter na SparseTensor .

streszczenie

Niech N będzie rozmiarem źródła (zazwyczaj N będzie rozmiarem partii). Podziel każdy element danych input na podstawie delimiter i zwróć SparseTensor zawierający podzielone tokeny. Puste żetony są ignorowane.

delimiter może być pusty lub być ciągiem podzielonych znaków. Jeśli delimiter jest pustym ciągiem, każdy element danych input jest dzielony na pojedyncze ciągi znaków jednobajtowych, w tym dzielenie sekwencji wielobajtowych UTF-8. W przeciwnym razie każdy znak delimiter jest potencjalnym punktem podziału.

Na przykład: N = 2, wejście [0] to „witaj świecie”, a wejście [1] to „ab c”, wtedy dane wyjściowe będą

indeksy = [0, 0; 0, 1; 1, 0; 1, 1; 1, 2] kształt = [2, 3] wartości = [„witaj”, „świat”, „a”, „b”, „c”]

Argumenty:

• zakres: obiekt Scope
• wejście: 1-D. Ciągi do rozdzielenia.
• separator: 0-D. Znaki separatora (bajty) lub pusty ciąg.

Atrybuty opcjonalne (patrz Attrs ):

• skip_empty: A bool . Jeśli True , pomiń puste ciągi w wyniku.

Zwroty:

• Wskaźniki Output : Gęsta macierz int64 reprezentująca indeksy rzadkiego tensora.
• Wartości Output : wektor ciągów odpowiadający podzielonym wartościom.
• Kształt Output : wektor int64 o długości-2 reprezentujący kształt tensora rzadkiego, gdzie pierwsza wartość to N, a druga wartość to maksymalna liczba tokenów w pojedynczym wpisie wejściowym.

Atrybuty publiczne

::tensorflow::Output indices

Operation operation

::tensorflow::Output shape

::tensorflow::Output values

 StringSplit(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input delimiter
)

 StringSplit(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input delimiter,
  const StringSplit::Attrs & attrs
)

Attrs SkipEmpty(
  bool x
)