tensorflow::ops::StringNGrams

Membuat n-gram dari data string yang tidak beraturan.

Ringkasan

Operasi ini menerima tensor bergerigi dengan 1 dimensi bergerigi yang hanya berisi string dan menghasilkan tensor bergerigi dengan 1 dimensi bergerigi yang berisi n-gram dari string tersebut, yang digabungkan sepanjang sumbu terdalam.

Argumen:

• Cakupan: Objek Cakupan
• data: Tensor nilai dari tensor string bergerigi yang akan digunakan untuk membuat n-gram. Harus berupa tensor string 1D.
• data_splits: Tensor pemisahan dari tensor string yang tidak beraturan untuk membuat n-gram.
• pemisah: String yang akan ditambahkan di antara elemen-elemen token. Gunakan "" untuk tanpa pemisah.
• ngram_widths: Ukuran ngram yang akan dibuat.
• left_pad: String yang digunakan untuk mengisi sisi kiri urutan ngram. Hanya digunakan jika pad_width != 0.
• right_pad: String yang digunakan untuk mengisi sisi kanan urutan ngram. Hanya digunakan jika pad_width != 0.
• pad_width: Jumlah elemen pengisi yang akan ditambahkan ke setiap sisi setiap urutan. Perhatikan bahwa pengisi tidak akan pernah lebih besar dari 'ngram_widths'-1 terlepas dari nilai ini. Jika pad_width=-1 , maka tambahkan max(ngram_widths)-1 elemen.

Mengembalikan:

• Output ngrams: Tensor nilai dari tensor ragged ngrams output.
• Output ngrams_splits: Tensor pemisahan dari tensor ngrams yang tidak beraturan.

Atribut publik

::tensorflow::Output ngrams

::tensorflow::Output ngrams_splits

Operation operation

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)