dòng chảy căng:: ôi:: ChuỗiNGram

#include <string_ops.h>

Tạo ngram từ dữ liệu chuỗi rời rạc.

Bản tóm tắt

Op này chấp nhận một tensor rách rưới có 1 chiều rách rưới chỉ chứa các chuỗi và xuất ra một tensor rách rưới có 1 chiều rách rưới chứa ngram của chuỗi đó, nối dọc theo trục trong cùng.

Lập luận:

  • phạm vi: Một đối tượng phạm vi
  • data: Các giá trị tensor của tensor chuỗi rời rạc để tạo ngram. Phải là một tensor chuỗi 1D.
  • data_splits: Tenxơ phân tách của tenxơ chuỗi rời rạc để tạo ra ngram.
  • dấu phân cách: Chuỗi để nối giữa các phần tử của mã thông báo. Sử dụng "" để không có dấu phân cách.
  • ngram_widths: Kích thước của ngram cần tạo.
  • left_pad: Chuỗi sử dụng để đệm phía bên trái của chuỗi ngram. Chỉ được sử dụng nếu pad_width != 0.
  • right_pad: Chuỗi dùng để đệm phía bên phải của chuỗi ngram. Chỉ được sử dụng nếu pad_width != 0.
  • pad_width: Số phần tử đệm cần thêm vào mỗi bên của mỗi chuỗi. Lưu ý rằng phần đệm sẽ không bao giờ lớn hơn 'ngram_widths'-1 bất kể giá trị này. Nếu pad_width=-1 , thì hãy thêm các phần tử max(ngram_widths)-1 .

Trả về:

  • ngram Output : Các giá trị tenxơ của tenxơ rời rạc ngram đầu ra.
  • Output ngrams_splits: Tensor phân tách của tenxơ ngrams ragged.

Hàm tạo và hàm hủy

StringNGrams (const :: tensorflow::Scope & scope, :: tensorflow::Input data, :: tensorflow::Input data_splits, StringPiece separator, const gtl::ArraySlice< int > & ngram_widths, StringPiece left_pad, StringPiece right_pad, int64 pad_width, bool preserve_short_sequences)

Thuộc tính công khai

ngrams
ngrams_splits
operation

Thuộc tính công khai

ngram

::tensorflow::Output ngrams

ngrams_splits

::tensorflow::Output ngrams_splits

hoạt động

Operation operation

Chức năng công cộng

ChuỗiNGram

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)