เทนเซอร์โฟลว์ :: ops :: สตริงเอ็นแกรม

#include <string_ops.h>

สร้าง ngrams จากข้อมูลสตริงที่ไม่สมบูรณ์

สรุป

หน่วยความจำนี้ยอมรับเทนเซอร์ที่มอมแมมที่มี 1 มิติที่ขาดซึ่งมีเพียงสตริงและเอาท์พุตเทนเซอร์ที่ขาดกับ 1 มิติที่ขาดซึ่งมี ngram ของสตริงนั้นเข้าร่วมตามแกนด้านในสุด

อาร์กิวเมนต์:

  • ขอบเขต: วัตถุ ขอบเขต
  • ข้อมูล: ค่าเทนเซอร์ของเทนเซอร์สตริงที่หยาบเพื่อสร้าง ngrams ออกมา ต้องเป็นสตริงเทนเซอร์ 1D
  • data_splits: การแยกเทนเซอร์ของเทนเซอร์สตริงที่หยาบเพื่อสร้าง ngrams ออกมา
  • ตัวคั่น: สตริงที่จะต่อท้ายระหว่างองค์ประกอบของโทเค็น ใช้ "" โดยไม่มีตัวคั่น
  • ngram_widths: ขนาดของ ngrams ที่จะสร้าง
  • left_pad: สตริงที่จะใช้รองด้านซ้ายของลำดับ ngram ใช้เฉพาะเมื่อ pad_width! = 0
  • right_pad: สตริงที่จะใช้เพื่อรองด้านขวาของลำดับ ngram ใช้เฉพาะเมื่อ pad_width! = 0
  • pad_width: จำนวนขององค์ประกอบช่องว่างที่จะเพิ่มในแต่ละด้านของแต่ละลำดับ โปรดทราบว่าช่องว่างภายในจะไม่มากกว่า 'ngram_widths'-1 โดยไม่คำนึงถึงค่านี้ ถ้า pad_width=-1 ให้เพิ่ม max(ngram_widths)-1 องค์ประกอบ

ผลตอบแทน:

  • ngrams Output : ค่าเทนเซอร์ของ ngrams เอาต์พุตที่หยาบ
  • Output ngrams_splits: ตัวแยกเทนเซอร์ของ ngrams เอาท์พุทที่ขรุขระเทนเซอร์

ผู้สร้างและผู้ทำลาย

StringNGrams (const :: tensorflow::Scope & scope, :: tensorflow::Input data, :: tensorflow::Input data_splits, StringPiece separator, const gtl::ArraySlice< int > & ngram_widths, StringPiece left_pad, StringPiece right_pad, int64 pad_width, bool preserve_short_sequences)

คุณลักษณะสาธารณะ

ngrams
ngrams_splits
operation

คุณลักษณะสาธารณะ

ngrams

::tensorflow::Output ngrams

ngrams_splits

::tensorflow::Output ngrams_splits

การดำเนินการ

Operation operation

หน้าที่สาธารณะ

สตริงเอ็นแกรม

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)