aliran tensor:: operasi:: Pemisahan String

Pisahkan elemen input berdasarkan delimiter menjadi SparseTensor .

Ringkasan

Misalkan N adalah ukuran sumber (biasanya N adalah ukuran batch). Pisahkan setiap elemen input berdasarkan delimiter dan kembalikan SparseTensor yang berisi token yang dipisahkan. Token kosong diabaikan.

delimiter bisa kosong, atau serangkaian karakter terpisah. Jika delimiter adalah string kosong, setiap elemen input dipecah menjadi string karakter byte tunggal individual, termasuk pemisahan urutan multibyte UTF-8. Jika tidak, setiap karakter delimiter merupakan titik pisah potensial.

Misal: N = 2, input[0] adalah 'hello world' dan input[1] adalah 'ab c', maka outputnya adalah

indeks = [0, 0; 0, 1; 1, 0; 1, 1; 1, 2] bentuk = [2, 3] nilai = ['halo', 'dunia', 'a', 'b', 'c']

Argumen:

• ruang lingkup: Objek Lingkup
• masukan: 1-D. String untuk dipisahkan.
• pembatas: 0-D. Karakter pembatas (byte), atau string kosong.

Atribut opsional (lihat Attrs ):

• skip_empty: bool . Jika True , lewati string kosong dari hasil.

Pengembalian:

• Indeks Output : Matriks padat int64 yang mewakili indeks tensor renggang.
• Nilai Output : Vektor string yang sesuai dengan nilai yang dipisahkan.
• Bentuk Output : vektor panjang-2 int64 yang mewakili bentuk tensor renggang, dengan nilai pertama adalah N dan nilai kedua adalah jumlah maksimum token dalam satu entri masukan.

Atribut publik

::tensorflow::Output indices

Operation operation

::tensorflow::Output shape

::tensorflow::Output values

 StringSplit(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input delimiter
)

 StringSplit(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input delimiter,
  const StringSplit::Attrs & attrs
)

Attrs SkipEmpty(
  bool x
)