ML 커뮤니티 데이는 11월 9일입니다! TensorFlow, JAX에서 업데이트를 우리와 함께, 더 자세히 알아보기

tensorflow :: ops :: StringNGrams

#include <string_ops.h>

비정형 문자열 데이터에서 ngram을 생성합니다.

요약

이 연산은 문자열 만 포함하는 비정형 차원이 1 개인 비정형 텐서를 허용하고 가장 안쪽 축을 따라 연결된 해당 문자열의 ngram을 포함하는 비정형 차원이 1 개인 비정형 텐서를 출력합니다.

인수 :

  • 범위 : 범위 개체
  • data : ngram을 만들기위한 비정형 문자열 텐서의 값 텐서. 1D 문자열 텐서 여야합니다.
  • data_splits : ngram을 만들기 위해 비정형 문자열 텐서의 분할 텐서.
  • 구분 기호 : 토큰 요소 사이에 추가 할 문자열입니다. 구분 기호가 없으면 ""를 사용하십시오.
  • ngram_widths : 생성 할 ngram의 크기.
  • left_pad : ngram 시퀀스의 왼쪽을 채우는 데 사용할 문자열입니다. pad_width! = 0 인 경우에만 사용됩니다.
  • right_pad : ngram 시퀀스의 오른쪽을 채우는 데 사용할 문자열입니다. pad_width! = 0 인 경우에만 사용됩니다.
  • pad_width : 각 시퀀스의 각면에 추가 할 패딩 요소의 수입니다. 패딩은이 값에 관계없이 'ngram_widths'-1보다 크지 않습니다. pad_width=-1 max(ngram_widths)-1 요소를 추가합니다.

보고:

  • Output ngrams : 출력 ngrams 비정형 텐서의 값 텐서.
  • Output ngrams_splits : 출력 ngrams 비정형 텐서의 분할 텐서.

생성자와 소멸자

StringNGrams (const :: tensorflow::Scope & scope, :: tensorflow::Input data, :: tensorflow::Input data_splits, StringPiece separator, const gtl::ArraySlice< int > & ngram_widths, StringPiece left_pad, StringPiece right_pad, int64 pad_width, bool preserve_short_sequences)

공용 속성

ngrams
ngrams_splits
operation

공용 속성

ngrams

::tensorflow::Output ngrams

ngrams_splits

::tensorflow::Output ngrams_splits

조작

Operation operation

공공 기능

StringNGrams

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)