Ngày Cộng đồng ML là ngày 9 tháng 11! Tham gia với chúng tôi để cập nhật từ TensorFlow, JAX, và nhiều hơn nữa Tìm hiểu thêm

dòng chảy :: hoạt động :: UnicodeTranscode :: Đính kèm

#include <string_ops.h>

Bộ thiết lập thuộc tính tùy chọn cho UnicodeTranscode .

Tóm lược

Thuộc tính công khai

errors_ = "replace"
StringPiece
replace_control_characters_ = false
bool
replacement_char_ = 65533
int64

Chức năng công cộng

Errors (StringPiece x)
TF_MUST_USE_RESULT Attrs
Chính sách xử lý lỗi khi có định dạng không hợp lệ được tìm thấy trong đầu vào.
ReplaceControlCharacters (bool x)
TF_MUST_USE_RESULT Attrs
Cho dù để thay thế các ký tự điều khiển C0 (00-1F) với replacement_char .
ReplacementChar (int64 x)
TF_MUST_USE_RESULT Attrs
Mã điểm ký tự thay thế sẽ được sử dụng thay cho bất kỳ định dạng không hợp lệ nào trong đầu vào khi errors='replace' .

Thuộc tính công khai

lỗi_

StringPiece tensorflow::ops::UnicodeTranscode::Attrs::errors_ = "replace"

Replace_control_characters_

bool tensorflow::ops::UnicodeTranscode::Attrs::replace_control_characters_ = false

Replace_char_

int64 tensorflow::ops::UnicodeTranscode::Attrs::replacement_char_ = 65533

Chức năng công cộng

Lỗi

TF_MUST_USE_RESULT Attrs tensorflow::ops::UnicodeTranscode::Attrs::Errors(
  StringPiece x
)

Chính sách xử lý lỗi khi có định dạng không hợp lệ được tìm thấy trong đầu vào.

Giá trị 'nghiêm ngặt' sẽ khiến hoạt động tạo ra lỗi Đối số không hợp lệ trên bất kỳ định dạng đầu vào không hợp lệ nào. Giá trị 'thay thế' (mặc định) sẽ thực hiện thao tác thay thế mọi định dạng không hợp lệ trong đầu vào bằng mã replacement_char thế_char. Giá trị 'bỏ qua' sẽ khiến thao tác bỏ qua bất kỳ định dạng không hợp lệ nào trong đầu vào và không tạo ra ký tự đầu ra tương ứng.

Mặc định là "thay thế"

ReplaceControlCharacters

TF_MUST_USE_RESULT Attrs tensorflow::ops::UnicodeTranscode::Attrs::ReplaceControlCharacters(
  bool x
)

Cho dù để thay thế các ký tự điều khiển C0 (00-1F) với replacement_char .

Mặc định là sai.

Mặc định thành sai

ReplacementChar

TF_MUST_USE_RESULT Attrs tensorflow::ops::UnicodeTranscode::Attrs::ReplacementChar(
  int64 x
)

Mã điểm ký tự thay thế sẽ được sử dụng thay cho bất kỳ định dạng không hợp lệ nào trong đầu vào khi errors='replace' .

Có thể sử dụng bất kỳ mã điểm unicode hợp lệ nào. Giá trị mặc định là ký tự thay thế unicode mặc định là 0xFFFD hoặc U + 65533.)

Lưu ý rằng đối với UTF-8, việc chuyển một ký tự thay thế có thể diễn đạt được trong 1 byte, chẳng hạn như '', sẽ bảo toàn sự liên kết chuỗi với nguồn vì các byte không hợp lệ sẽ được thay thế bằng 1 byte thay thế. Đối với UTF-16-BE và UTF-16-LE, bất kỳ ký tự thay thế 1 hoặc 2 byte nào sẽ duy trì sự liên kết byte với nguồn.

Mặc định là 65533