ML Topluluk Günü 9 Kasım! TensorFlow, JAX güncellemeler için bize katılın ve daha fazla bilgi edinin

tensorflow :: ops :: StringNGrams

#include <string_ops.h>

Düzensiz dize verilerinden ngramlar oluşturur.

Özet

Bu işlem, yalnızca dizeleri içeren 1 düzensiz boyutlu düzensiz bir tensörü kabul eder ve en iç eksen boyunca birleştirilmiş, bu dizenin ngramlarını içeren 1 düzensiz boyuta sahip düzensiz bir tensör çıkarır.

Argümanlar:

  • kapsam: Bir Scope nesnesi
  • data: ngramları çıkarmak için düzensiz dize tensörünün değerler tensörü. 1B dize tensörü olmalıdır.
  • data_splits: Düzensiz dizge tensörünün tensörünü ngramlardan çıkarmak için böler.
  • ayırıcı: Belirtecin öğeleri arasına eklenecek dize. Ayırıcı kullanmak için "" kullanın.
  • ngram_widths: Oluşturulacak ngramların boyutları.
  • left_pad: ngram dizisinin sol tarafını doldurmak için kullanılacak dize. Yalnızca pad_width! = 0 ise kullanılır.
  • right_pad: ngram dizisinin sağ tarafını doldurmak için kullanılacak dize. Yalnızca pad_width! = 0 ise kullanılır.
  • pad_width: Her dizinin her bir tarafına eklenecek dolgu öğelerinin sayısı. Bu değerden bağımsız olarak doldurmanın asla 'ngram_widths'-1'den büyük olmayacağına dikkat edin. pad_width=-1 , max(ngram_widths)-1 eleman ekleyin.

İadeler:

  • Output ngramları: Çıkış ngramlarının düzensiz tensör değerleri tensörü.
  • Output ngrams_splits: Çıktı ngramlarının düzensiz tensörünün bölücü tensörü.

Yapıcılar ve Yıkıcılar

StringNGrams (const :: tensorflow::Scope & scope, :: tensorflow::Input data, :: tensorflow::Input data_splits, StringPiece separator, const gtl::ArraySlice< int > & ngram_widths, StringPiece left_pad, StringPiece right_pad, int64 pad_width, bool preserve_short_sequences)

Genel özellikler

ngrams
ngrams_splits
operation

Genel özellikler

ngram

::tensorflow::Output ngrams

ngrams_splits

::tensorflow::Output ngrams_splits

operasyon

Operation operation

Kamusal işlevler

StringNGrams

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)