Phương ngữ TensorFlow Lite.
Phương ngữ này ánh xạ tới các hoạt động của TensorFlow Lite.
bất biến:
- Tất cả các giá trị thuộc loại Tensor (cụ thể là các đại lượng vô hướng được biểu diễn bằng cách sử dụng các tenxơ không chiều);
hoạt động định nghĩa
tfl.abs
(::mlir::TFL::AbsOp)
Toán tử giá trị tuyệt đối
Cho trước một tenxơ x
, thao tác này trả về một tenxơ chứa giá trị tuyệt đối của từng phần tử trong x
. Ví dụ: nếu x là phần tử đầu vào và y là phần tử đầu ra, thao tác này sẽ tính \(y = |x|\).
Đặc điểm: AlwaysSpeculatableImplTrait, QuantizableResult, SameOperandsAndResultShape
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
x | tenxơ của số nguyên không dấu 16 bit hoặc số nguyên không dấu 32 bit hoặc giá trị kiểu float 32 bit hoặc loại QI8 hoặc loại QI16 |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
y | tenxơ của số nguyên không dấu 16 bit hoặc số nguyên không dấu 32 bit hoặc giá trị kiểu float 32 bit hoặc loại QI8 hoặc loại QI16 |
tfl.add_n
(::mlir::TFL::AddNOp)
toán tử add_n
Thêm tất cả các yếu tố tenxơ đầu vào khôn ngoan.
Đặc điểm: AlwaysSpeculatableImplTrait, Giao hoán
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflArithmeticCountOpInterface, TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
inputs | tensor của bất kỳ giá trị loại |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
sum | tenxơ của các giá trị số nguyên không dấu 32 bit hoặc 32 bit |
tfl.add
(::mlir::TFL::AddOp)
Toán tử cộng
Hoạt động bổ sung yếu tố khôn ngoan.
Đặc điểm: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, Giao hoán, QuantizableResult, ResultsBroadcastableShape
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflArithmeticCountOpInterface, TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
fused_activation_function | ::mlir::StringAttr | thuộc tính chuỗi có giá trị là NONE hoặc RELU hoặc RELU_N1_TO_1 hoặc RELU6 hoặc TANH hoặc SIGN_BIT |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
lhs | tenxơ của số float 32 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 64 bit hoặc giá trị loại QI8 hoặc loại QUI8 hoặc loại QI16 |
rhs | tenxơ của số float 32 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 64 bit hoặc giá trị loại QI8 hoặc loại QUI8 hoặc loại QI16 |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của số float 32 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 64 bit hoặc giá trị loại QI8 hoặc loại QUI8 hoặc loại QI16 |
tfl.arg_max
(::mlir::TFL::ArgMaxOp)
Toán tử ArgMax
Trả về chỉ số có giá trị lớn nhất trên các kích thước của một tensor.
Đặc điểm: AlwaysSpeculatableImplTrait, QuantizableResult
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
output_type | ::mlir::Thuộc tính | thuộc tính dẫn xuất |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ của số nguyên không dấu 1 bit hoặc số float 32 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 8 bit hoặc số nguyên không dấu 8 bit hoặc các giá trị loại QI8 hoặc loại QUI8 |
dim | tenxơ của các giá trị số nguyên không dấu 32/64 bit |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của các giá trị số nguyên không dấu 32/64 bit |
tfl.arg_min
(::mlir::TFL::ArgMinOp)
Toán tử ArgMin
Trả về chỉ số có giá trị nhỏ nhất trên các kích thước của tenxơ. a = [1, 10, 26.9, 2.8, 166.32, 62.3] b = tf.math.argmin(input = a) c = tf.keras.backend.eval(b)
Đặc điểm: AlwaysSpeculatableImplTrait, QuantizableResult
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
output_type | ::mlir::Thuộc tính | thuộc tính dẫn xuất |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ của số nguyên không dấu 1 bit hoặc số float 32 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 8 bit hoặc số nguyên không dấu 8 bit hoặc các giá trị loại QI8 hoặc loại QUI8 |
dim | tenxơ của các giá trị số nguyên không dấu 32/64 bit |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của các giá trị số nguyên không dấu 32/64 bit |
tfl.assign_variable
(::mlir::TFL::AssignVariableOp)
Gán một giá trị mới cho một biến.
Bất kỳ ReadVariableOp nào có phụ thuộc kiểm soát vào op này đều được đảm bảo trả về giá trị này hoặc giá trị mới hơn tiếp theo của biến.
Giao diện: TflRuntimeVerifyOpInterface
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
resource_id | tensor giá trị tài nguyên |
value | tenxơ của số float 32 bit hoặc số float 64 bit hoặc số nguyên không dấu 1 bit hoặc số nguyên không dấu 8 bit hoặc số nguyên không dấu 8 bit hoặc loại QI8 hoặc loại QUI8 hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 64 bit hoặc loại QI16 hoặc loại phức hợp với các phần tử float 32-bit hoặc loại phức hợp với các giá trị phần tử float 64-bit |
tfl.atan2
(::mlir::TFL::Atan2Op)
Hoạt động Atan2
Phép toán "atan2" tính toán arctang của y/x theo từng phần tử, tôn trọng các dấu của đối số.
Đặc điểm: AlwaysSpeculatableImplTrait, SameOperandsAndResultElementType, SameOperandsAndResultShape
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
y | tensor của giá trị float 32-bit hoặc float 64-bit |
x | tensor của giá trị float 32-bit hoặc float 64-bit |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tensor của giá trị float 32-bit hoặc float 64-bit |
tfl.average_pool_2d
(::mlir::TFL::AveragePool2DOp)
Toán tử Average_pool_2d
Thực hiện hoạt động tổng hợp trung bình trên đầu vào.
Đặc điểm: AlwaysSpeculatableImplTrait, QuantizableResult
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflArithmeticCountOpInterface, TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
filter_height | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
filter_width | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
padding | ::mlir::StringAttr | thuộc tính chuỗi có giá trị CÙNG hoặc HỢP LỆ |
stride_h | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
stride_w | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
fused_activation_function | ::mlir::StringAttr | thuộc tính chuỗi có giá trị là NONE hoặc RELU hoặc RELU_N1_TO_1 hoặc RELU6 hoặc TANH hoặc SIGN_BIT |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ của các giá trị kiểu float 32 bit hoặc kiểu QI8 hoặc kiểu QUI8 hoặc kiểu QI16 |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của các giá trị kiểu float 32 bit hoặc kiểu QI8 hoặc kiểu QUI8 hoặc kiểu QI16 |
tfl.basic_lstm
(::mlir::TFL::BasicLSTMOp)
Toán tử lstm cơ bản
Toán tử tế bào LSTM cơ bản.
Đặc điểm: AlwaysSpeculatableImplTrait, QuantizableResult
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
fused_activation_function | ::mlir::StringAttr | thuộc tính chuỗi có giá trị là NONE hoặc RELU hoặc RELU_N1_TO_1 hoặc RELU6 hoặc TANH hoặc SIGN_BIT |
cell_clip | ::mlir::FloatAttr | Thuộc tính float 32 bit có giá trị không âm |
proj_clip | ::mlir::FloatAttr | Thuộc tính float 32 bit có giá trị không âm |
kernel_type | ::mlir::TFL::LSTMKernelTypeAttr | lstm_kernel_type có giá trị là mlir::TFL::LSTMKernelType::BASIC |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
data_input | tenxơ của các giá trị kiểu float hoặc QUI8 32 bit |
prev_activ_input | tenxơ của các giá trị kiểu float hoặc QUI8 32 bit |
weights_input | tenxơ của các giá trị kiểu float hoặc QUI8 32 bit |
biases_input | tenxơ của các giá trị kiểu float hoặc QI32 32 bit |
prev_state_input | tenxơ của các giá trị kiểu float hoặc QI16 32 bit |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
activ_output | Tenxơ 2D của bất kỳ giá trị loại nào |
state_output | Tenxơ 2D của bất kỳ giá trị loại nào |
concat_temp | Tenxơ 2D của bất kỳ giá trị loại nào |
activ_temp | Tenxơ 2D của bất kỳ giá trị loại nào |
tfl.batch_matmul
(::mlir::TFL::BatchMatMulOp)
Toán tử nhân ma trận hàng loạt
Thực hiện phép nhân ma trận theo đợt trên các đầu vào. Tuân thủ các quy ước của TensorFlow BatchMatMulV2, với sự hỗ trợ cho các kích thước không xác định trong kích thước lô và phát sóng.
Inputs:
`inputs[0]`: required: input LHS
`inputs[1]`: required: input RHS
`adjoint_lhs`: optional: Transpose LHS (default false)
`adjoint_lhs`: optional: Transpose LHS (default false)
Đặc điểm: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, QuantizableResult
Giao diện: Có thể suy đoán có điều kiện, DynamicRangeQuantizedOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
adj_x | ::mlir::BoolAttr | thuộc tính bool |
adj_y | ::mlir::BoolAttr | thuộc tính bool |
asymmetric_quantize_inputs | ::mlir::BoolAttr | thuộc tính bool |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
x | tenxơ của loại float 32 bit hoặc loại QI8 hoặc loại QI16 hoặc giá trị số nguyên không dấu 8 bit |
y | tenxơ của loại float 32 bit hoặc loại QI8 hoặc loại QI16 hoặc giá trị số nguyên không dấu 8 bit |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của loại float 32 bit hoặc loại QI8 hoặc loại QI16 hoặc giá trị số nguyên không dấu 32 bit |
tfl.batch_to_space_nd
(::mlir::TFL::BatchToSpaceNdOp)
Toán tử BatchToSpaceNd
Thao tác này định hình lại kích thước "lô" 0 thành kích thước không gian.
Đặc điểm: AlwaysSpeculatableImplTrait, QuantizableResult
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ của số float 32 bit hoặc số nguyên không dấu 8 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 64 bit hoặc số nguyên không dấu 8 bit hoặc các giá trị loại QI8 hoặc loại QUI8 |
block_shape | tenxơ của các giá trị số nguyên không dấu 32 bit |
indices | tenxơ của các giá trị số nguyên không dấu 32 bit |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của số float 32 bit hoặc số nguyên không dấu 16 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 64 bit hoặc số nguyên không dấu 8 bit hoặc giá trị loại QI8 hoặc loại QUI8 |
tfl.bidirectional_sequence_lstm
(::mlir::TFL::Bi directionSequenceLSTMOp)
Toán tử lstm trình tự hai chiều
Lstm hai chiều về cơ bản là hai lstm, một chạy về phía trước và một chạy lùi. Và đầu ra là sự kết hợp của hai lstms.
Đặc điểm: QuantizableResult
Giao diện: DynamicRangeQuantizedOpInterface, TFL_StatefulOp, TflRuntimeVerifyOpInterface
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
fused_activation_function | ::mlir::StringAttr | thuộc tính chuỗi có giá trị là NONE hoặc RELU hoặc RELU_N1_TO_1 hoặc RELU6 hoặc TANH hoặc SIGN_BIT |
cell_clip | ::mlir::FloatAttr | Thuộc tính float 32 bit có giá trị không âm |
proj_clip | ::mlir::FloatAttr | Thuộc tính float 32 bit có giá trị không âm |
merge_outputs | ::mlir::BoolAttr | thuộc tính bool |
time_major | ::mlir::BoolAttr | thuộc tính bool |
asymmetric_quantize_inputs | ::mlir::BoolAttr | thuộc tính bool |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ của các giá trị số nguyên không dấu 32 bit hoặc 8 bit |
fw_input_to_input_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
fw_input_to_forget_weights | tenxơ của các giá trị số nguyên không dấu 32 bit hoặc 8 bit |
fw_input_to_cell_weights | tenxơ của các giá trị số nguyên không dấu 32 bit hoặc 8 bit |
fw_input_to_output_weights | tenxơ của các giá trị số nguyên không dấu 32 bit hoặc 8 bit |
fw_recurrent_to_input_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
fw_recurrent_to_forget_weights | tenxơ của các giá trị số nguyên không dấu 32 bit hoặc 8 bit |
fw_recurrent_to_cell_weights | tenxơ của các giá trị số nguyên không dấu 32 bit hoặc 8 bit |
fw_recurrent_to_output_weights | tenxơ của các giá trị số nguyên không dấu 32 bit hoặc 8 bit |
fw_cell_to_input_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
fw_cell_to_forget_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
fw_cell_to_output_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
fw_input_gate_bias | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
fw_forget_gate_bias | tenxơ của các giá trị float 32 bit |
fw_cell_bias | tenxơ của các giá trị float 32 bit |
fw_output_gate_bias | tenxơ của các giá trị float 32 bit |
fw_projection_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
fw_projection_bias | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
bw_input_to_input_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
bw_input_to_forget_weights | tenxơ của các giá trị số nguyên không dấu 32 bit hoặc 8 bit |
bw_input_to_cell_weights | tenxơ của các giá trị số nguyên không dấu 32 bit hoặc 8 bit |
bw_input_to_output_weights | tenxơ của các giá trị số nguyên không dấu 32 bit hoặc 8 bit |
bw_recurrent_to_input_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
bw_recurrent_to_forget_weights | tenxơ của các giá trị số nguyên không dấu 32 bit hoặc 8 bit |
bw_recurrent_to_cell_weights | tenxơ của các giá trị số nguyên không dấu 32 bit hoặc 8 bit |
bw_recurrent_to_output_weights | tenxơ của các giá trị số nguyên không dấu 32 bit hoặc 8 bit |
bw_cell_to_input_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
bw_cell_to_forget_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
bw_cell_to_output_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
bw_input_gate_bias | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
bw_forget_gate_bias | tenxơ của các giá trị float 32 bit |
bw_cell_bias | tenxơ của các giá trị float 32 bit |
bw_output_gate_bias | tenxơ của các giá trị float 32 bit |
bw_projection_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
bw_projection_bias | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
fw_input_activation_state | tensor trạng thái |
fw_input_cell_state | tensor trạng thái |
bw_input_activation_state | tensor trạng thái |
bw_input_cell_state | tensor trạng thái |
aux_input | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
fw_aux_input_to_input_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
fw_aux_input_to_forget_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
fw_aux_input_to_cell_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
fw_aux_input_to_output_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
bw_aux_input_to_input_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
bw_aux_input_to_forget_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
bw_aux_input_to_cell_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
bw_aux_input_to_output_weights | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
fw_output | tensor của bất kỳ giá trị loại |
bw_output | tensor của bất kỳ giá trị loại |
tfl.broadcast_args
(::mlir::TFL::BroadcastArgsOp)
Trả lại hình dạng của s0 op s1 với quảng bá.
Cho s0
và s1
, các tenxơ đại diện cho hình dạng, tính r0
, hình dạng được phát sóng. s0
, s1
và r0
đều là các vectơ nguyên.
Đặc điểm: AlwaysSpeculatableImplTrait
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
s0 | tenxơ của các giá trị số nguyên không dấu 32/64 bit |
s1 | tenxơ của các giá trị số nguyên không dấu 32/64 bit |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
r0 | tenxơ của các giá trị số nguyên không dấu 32/64 bit |
tfl.broadcast_to
(::mlir::TFL::BroadcastToOp)
Phát một mảng cho một hình dạng tương thích.
Phát sóng là quá trình tạo mảng để có hình dạng tương thích cho các phép tính số học. Hai hình tương thích nếu đối với mỗi cặp kích thước, chúng bằng nhau hoặc một trong số chúng là một. Khi cố gắng phát một Tenor thành một hình dạng, nó bắt đầu với các kích thước theo sau và hoạt động theo cách của nó.
Ví dụ,
x = tf.constant([1, 2, 3]) y = tf.broadcast_to(x, [3, 3]) print(y) tf.Tensor( [[1 2 3] [1 2 3] [1 2 3]], hình dạng=(3, 3), dtype=int32)
Trong ví dụ trên, Tensor đầu vào có hình dạng [1, 3]
được truyền tới Tensor đầu ra có hình dạng [3, 3]
.
Khi thực hiện các hoạt động được phát sóng chẳng hạn như nhân một tenxơ với một vô hướng, việc phát sóng (thường) mang lại một số lợi ích về thời gian hoặc không gian, vì tenxơ được phát sóng không bao giờ được thực hiện.
Tuy nhiên, broadcast_to
không mang theo bất kỳ lợi ích nào như vậy. Tenxơ mới được tạo sẽ chiếm toàn bộ bộ nhớ của hình dạng được phát sóng. (Tuy nhiên, trong ngữ cảnh biểu đồ, broadcast_to
có thể được hợp nhất với hoạt động tiếp theo và sau đó được tối ưu hóa.)
Đặc điểm: AlwaysSpeculatableImplTrait, QuantizableResult
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ của số float 32 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 1 bit hoặc số nguyên không dấu 8 bit hoặc loại QI8 hoặc số nguyên không dấu 8 bit hoặc loại QUI8 hoặc số nguyên không dấu 16 bit hoặc loại QI16 hoặc không dấu 64 bit kiểu số nguyên hoặc phức hợp với các giá trị phần tử float 32 bit |
shape | tenxơ của các giá trị số nguyên không dấu 32/64 bit |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của số float 32 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 1 bit hoặc số nguyên không dấu 8 bit hoặc loại QI8 hoặc số nguyên không dấu 8 bit hoặc loại QUI8 hoặc số nguyên không dấu 16 bit hoặc loại QI16 hoặc không dấu 64 bit kiểu số nguyên hoặc phức hợp với các giá trị phần tử float 32 bit |
tfl.bucketize
(::mlir::TFL::BucketizeOp)
Bucketizes 'đầu vào' dựa trên 'ranh giới'.
Ví dụ:
Nếu đầu vào là boundaries = [0, 10, 100]
và input = [[-5, 10000][150, 10][5, 100]]
, thì đầu ra sẽ là output = [[0, 3][3, 2][1, 3]]
.
Đặc điểm: AlwaysSpeculatableImplTrait, SameOperandsAndResultShape
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
boundaries | ::mlir::ArrayAttr | Thuộc tính mảng float 32-bit |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ của số float 32 bit hoặc số float 64 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 64 bit |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của các giá trị số nguyên không dấu 32 bit |
tfl.call_once
(::mlir::TFL::CallOnceOp)
Gọi một chức năng khởi tạo
Thao tác này gọi hàm khởi tạo đã cho cho trình khởi tạo phiên trong phương ngữ mô hình đã lưu tf.
Giao diện: TflRuntimeVerifyOpInterface
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
session_init_function | ::mlir::StringAttr | thuộc tính chuỗi |
tfl.cast
(::mlir::TFL::CastOp)
Toán tử truyền
Truyền đầu vào từ loại đầu vào sang loại đầu ra.
Đặc điểm: AlwaysSpeculatableImplTrait, SameOperandsAndResultShape
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ của số float 16 bit hoặc số float 32 bit hoặc số float 64 bit hoặc số nguyên không dấu 1 bit hoặc số nguyên không dấu 16 bit hoặc số nguyên không dấu 16 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 32 bit hoặc 64 bit số nguyên không dấu hoặc loại TFLite quint8 hoặc số nguyên không dấu 8 bit hoặc số nguyên không dấu 8 bit hoặc loại phức hợp với các giá trị phần tử float 32 bit |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của số float 16 bit hoặc số float 32 bit hoặc số float 64 bit hoặc số nguyên không dấu 1 bit hoặc số nguyên không dấu 16 bit hoặc số nguyên không dấu 16 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 32 bit hoặc 64 bit số nguyên không dấu hoặc loại TFLite quint8 hoặc số nguyên không dấu 8 bit hoặc số nguyên không dấu 8 bit hoặc loại phức hợp với các giá trị phần tử float 32 bit |
tfl.ceil
(::mlir::TFL::CeilOp)
điều hành trần
Trả về giá trị trần theo từng phần tử của đầu vào.
Đặc điểm: AlwaysSpeculatableImplTrait, InferTensorType, TF::SameOperandsAndResultTypeResolveRef
Giao diện: Có điều kiệnSpeculatable, InferShapedTypeOpInterface, InferTypeOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
x | tenxơ của các giá trị float 32 bit |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
y | tenxơ của các giá trị float 32 bit |
tfl.complex_abs
(::mlir::TFL::ComplexAbsOp)
Tính giá trị tuyệt đối phức của một tensor.
Cho trước một tenxơ x
gồm các số phức, thao tác này trả về một tenxơ loại float
hoặc double
là giá trị tuyệt đối của mỗi phần tử trong x
. Tất cả các phần tử trong x
phải là số phức có dạng \(a + bj\). Giá trị tuyệt đối được tính là \( \sqrt{a^2 + b^2}\).
Đặc điểm: AlwaysSpeculatableImplTrait, SameOperandsAndResultShape
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ loại phức với các phần tử float 32 bit hoặc loại phức với các giá trị phần tử float 64 bit |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tensor của giá trị float 32-bit hoặc float 64-bit |
tfl.concatenation
(::mlir::TFL::ConcatenationOp)
Điều hành nối
Nối các tenxơ dọc theo một chiều
Đặc điểm: AlwaysSpeculatableImplTrait, QuantizableResult
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
axis | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
fused_activation_function | ::mlir::StringAttr | thuộc tính chuỗi có giá trị là NONE hoặc RELU hoặc RELU_N1_TO_1 hoặc RELU6 hoặc TANH hoặc SIGN_BIT |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
values | tensor của bất kỳ giá trị loại |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của số float 32 bit hoặc số nguyên không dấu 64 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 16 bit hoặc số nguyên không dấu 8 bit hoặc loại QI8 hoặc loại QUI8 hoặc số nguyên không dấu 8 bit hoặc giá trị số nguyên không dấu 1 bit |
tfl.pseudo_const
(::mlir::TFL::ConstOp)
Hoạt động giả không đổi.
Đại diện cho một giá trị không đổi trong phương ngữ TensorFlow Lite. Đây không phải là một hoạt động thực tế và thay vào đó, nó sẽ được hạ xuống bộ đệm.
Op được phép có tất cả các loại thuộc tính giống như tf.Const (ví dụ: cho phép các thuộc tính TF mờ).
Đặc điểm: AlwaysSpeculatableImplTrait, ConstantLike, FirstAttrDerivedResultType, QuantizableResult
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
value | ::mlir::ElementsAttr | thuộc tính vectơ/tenxơ không đổi |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tensor của bất kỳ giá trị loại |
tfl.control_node
(::mlir::TFL::ControlNodeOp)
The `TFL.control_node` operation wraps single-block operations in order to attach control edges.
Điều này được sử dụng để bọc các vùng và đính kèm các phụ thuộc điều khiển cho chúng. Thông thường, điều này sẽ xảy ra ở một trong những bước cuối cùng trước khi phát ra mô hình bộ đệm phẳng để cho phép tối ưu hóa dựa trên một thứ tự hoạt động cố định (chẳng hạn như tái cấu trúc hóa). sao cho mọi sắp xếp lại thời gian chạy sẽ tôn trọng thứ tự do các phụ thuộc điều khiển đưa ra.
Đặc điểm: HasParent mlir::func::FuncOp , RecursiveMemoryEffects, SingleBlockImplicitTerminator
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
controlInputs | điều khiển |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
outputs | tensor của bất kỳ giá trị loại |
control | điều khiển |
tfl.conv_2d
(::mlir::TFL::Conv2DOp)
Toán tử tích chập
Thực hiện thao tác tích chập trên đầu vào.
Đầu vào: inputs[0]
: bắt buộc: đầu vào tenxơ kích hoạt inputs[1]
: bắt buộc: inputs[2]
: tùy chọn: tenxơ phân cực
Đặc điểm: AlwaysSpeculatableImplTrait, QuantizableResult, quant::AccumulatorUniformScale<2, 0, 1>, quant::AffineOpCoefficiency<0, 1>
Giao diện: AffineQuantizedOpInterface, ConditionallySpeculatable, DynamicRangeQuantizedOpInterface, InferTypeOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TFL_SparseOp, TflArithmeticCountOpInterface, TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
dilation_h_factor | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
dilation_w_factor | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
fused_activation_function | ::mlir::StringAttr | thuộc tính chuỗi có giá trị là NONE hoặc RELU hoặc RELU_N1_TO_1 hoặc RELU6 hoặc TANH hoặc SIGN_BIT |
padding | ::mlir::StringAttr | thuộc tính chuỗi có giá trị CÙNG hoặc HỢP LỆ |
stride_h | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
stride_w | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ của các giá trị kiểu float 32 bit hoặc kiểu QI8 hoặc kiểu QUI8 hoặc kiểu QI16 |
filter | tensor của giá trị float 32-bit hoặc loại QI4 hoặc loại QI8 hoặc loại QUI8 |
bias | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của các giá trị kiểu float 32 bit hoặc kiểu QI8 hoặc kiểu QUI8 hoặc kiểu QI16 |
tfl.conv_3d
(::mlir::TFL::Conv3DOp)
Toán tử 3D tích chập
Thực hiện thao tác tích chập trên đầu vào 3D. Đầu vào: inputs[0]
: bắt buộc: đầu vào tenxơ kích hoạt inputs[1]
: bắt buộc: inputs[2]
: tùy chọn: tenxơ phân cực
Đặc điểm: AlwaysSpeculatableImplTrait, quant::AccumulatorUniformScale<2, 0, 1>
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
dilation_d_factor | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
dilation_h_factor | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
dilation_w_factor | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
fused_activation_function | ::mlir::StringAttr | thuộc tính chuỗi có giá trị là NONE hoặc RELU hoặc RELU_N1_TO_1 hoặc RELU6 hoặc TANH hoặc SIGN_BIT |
padding | ::mlir::StringAttr | thuộc tính chuỗi có giá trị CÙNG hoặc HỢP LỆ |
stride_d | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
stride_h | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
stride_w | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ của các giá trị float 32 bit |
filter | tenxơ của các giá trị float 32 bit |
bias | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của các giá trị float 32 bit |
tfl.conv_3d_transpose
(::mlir::TFL::Conv3DTransposeOp)
Toán tử chuyển đổi Convolution 3D
Thực hiện thao tác chuyển đổi tích chập trên đầu vào 3D. Đầu vào: inputs[0]
: bắt buộc: hình dạng của tenxơ đầu ra đầu vào inputs[1]
: bắt buộc: tenxơ trọng lượng bộ lọc inputs[2]
: bắt buộc: đầu vào tenxơ kích hoạt đầu vào inputs[3]
: tùy chọn: tenxơ phân cực
Đặc điểm: AlwaysSpeculatableImplTrait, quant::AccumulatorUniformScale<2, 0, 1>
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
dilation_d_factor | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
dilation_h_factor | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
dilation_w_factor | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
fused_activation_function | ::mlir::StringAttr | thuộc tính chuỗi có giá trị là NONE hoặc RELU hoặc RELU_N1_TO_1 hoặc RELU6 hoặc TANH hoặc SIGN_BIT |
padding | ::mlir::StringAttr | thuộc tính chuỗi có giá trị CÙNG hoặc HỢP LỆ |
stride_d | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
stride_h | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
stride_w | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
output_shape | tenxơ của các giá trị số nguyên không dấu 32 bit |
filter | tenxơ của các giá trị float 32 bit |
input | tenxơ của các giá trị float 32 bit |
bias | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của các giá trị float 32 bit |
tfl.cos
(::mlir::TFL::CosOp)
toán tử cosin
Tính toán Cosine theo từng phần tử của đầu vào
Đặc điểm: AlwaysSpeculatableImplTrait, InferTensorType, TF::SameOperandsAndResultTypeResolveRef
Giao diện: Có điều kiệnSpeculatable, InferShapedTypeOpInterface, InferTypeOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
x | tenxơ của các giá trị float 32 bit |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
y | tenxơ của các giá trị float 32 bit |
tfl.cumsum
(::mlir::TFL::CumsumOp)
Toán tử kiêm tổng
Tính tổng tích lũy của tensor x dọc theo trục.
Đặc điểm: AlwaysSpeculatableImplTrait
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
exclusive | ::mlir::BoolAttr | thuộc tính bool |
reverse | ::mlir::BoolAttr | thuộc tính bool |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ của số nguyên float 32 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 64 bit |
axis | tenxơ của các giá trị số nguyên không dấu 32 bit |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của số nguyên float 32 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 64 bit |
tfl.custom
(::mlir::TFL::CustomOp)
tùy chỉnh
Một hoạt động chung cho bất kỳ hoạt động tùy chỉnh TFLite nào.
đầu vào: Một danh sách các đầu vào trong op ban đầu. custom_code: Một chuỗi được sử dụng để xác định chính xác op này là gì, tương ứng với operator_codes.custom_code trong bộ đệm phẳng. custom_option: một ngăn chứa để lưu các thuộc tính op theo kiểu byte. đầu ra: Một danh sách các đầu ra trong op gốc.
Giao diện: TflRuntimeVerifyOpInterface
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
custom_code | ::mlir::StringAttr | thuộc tính chuỗi |
custom_option | ::mlir::TFL::ConstBytesAttr | Một đại diện thuộc tính chuỗi của các byte được biên dịch |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tensor của bất kỳ giá trị loại |
tfl.custom_tf
(::mlir::TFL::CustomTfOp)
Wrapper Op cho hoạt động tùy chỉnh TF.
Một op bao bọc xung quanh bất kỳ op TF tùy chỉnh nào. Chúng bao gồm các op được xác định bằng custom_opdefs hoặc được liên kết không được xác định trong phương ngữ TF. Op này chỉ gói gọn op tùy chỉnh bên trong một vùng. Lưu ý #1, Op này sẽ không bao gồm các op tùy chỉnh TF Lite được xác định bằng CustomOp. Lưu ý #2, op này chỉ là biểu diễn bên trong bên trong bộ chuyển đổi và không được hiển thị/xuất khi mô hình được xuất sang Flatbuffer.
Đặc điểm: IsolatedFromAbove, RecursiveMemoryEffects, SingleBlockImplicitTerminator
Giao diện: InferTypeOpInterface, TflRuntimeVerifyOpInterface
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tensor của bất kỳ giá trị loại |
tfl.densify
(::mlir::TFL::DensifyOp)
nhà điều hành mật độ
Chuyển đổi tensor thưa thớt sang định dạng dày đặc.
Đặc điểm: AlwaysSpeculatableImplTrait
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ của các giá trị số nguyên không dấu 32 bit hoặc 8 bit |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của các giá trị số nguyên không dấu 32 bit hoặc 8 bit |
tfl.depth_to_space
(::mlir::TFL::DepthToSpaceOp)
Toán tử DepthToSpace
Sắp xếp lại dữ liệu từ chiều sâu thành các khối dữ liệu không gian. Đây là phép biến đổi ngược của SpaceToDepth. Cụ thể hơn, thao tác này xuất ra một bản sao của tenxơ đầu vào trong đó các giá trị từ chiều depth
được di chuyển trong các khối không gian sang các chiều height
và width
. attr block_size
cho biết kích thước khối đầu vào và cách dữ liệu được di chuyển.
Đặc điểm: AlwaysSpeculatableImplTrait, QuantizableResult
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
block_size | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit có giá trị dương |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ của số float 32 bit hoặc số nguyên không dấu 8 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 64 bit hoặc loại TFLite quint8 hoặc số nguyên không dấu 8 bit hoặc giá trị loại QI8 hoặc loại QUI8 |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của số float 32 bit hoặc số nguyên không dấu 8 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 64 bit hoặc loại TFLite quint8 hoặc số nguyên không dấu 8 bit hoặc giá trị loại QI8 hoặc loại QUI8 |
tfl.depthwise_conv_2d
(::mlir::TFL::DepthwiseConv2DOp)
Toán tử tích chập có thể phân tách theo chiều sâu
Thực hiện thao tác tích chập trên đầu vào.
Đầu vào: inputs[0]
: bắt buộc: đầu vào tenxơ kích hoạt inputs[1]
: bắt buộc: inputs[2]
: tùy chọn: tenxơ phân cực
Đặc điểm: AlwaysSpeculatableImplTrait, QuantizableResult, quant::AccumulatorUniformScale<2, 0, 1>, quant::AffineOpCoefficiency<3, 1>
Giao diện: AffineQuantizedOpInterface, Có điều kiện suy đoán, DynamicRangeQuantizedOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TFL_SparseOp, TflArithmeticCountOpInterface, TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
dilation_h_factor | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
dilation_w_factor | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
fused_activation_function | ::mlir::StringAttr | thuộc tính chuỗi có giá trị là NONE hoặc RELU hoặc RELU_N1_TO_1 hoặc RELU6 hoặc TANH hoặc SIGN_BIT |
padding | ::mlir::StringAttr | thuộc tính chuỗi có giá trị CÙNG hoặc HỢP LỆ |
stride_h | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
stride_w | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
depth_multiplier | ::mlir::IntegerAttr | Thuộc tính số nguyên không dấu 32 bit |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ của các giá trị kiểu float 32 bit hoặc kiểu QI8 hoặc kiểu QUI8 hoặc kiểu QI16 |
filter | tensor của giá trị float 32-bit hoặc loại QI4 hoặc loại QI8 hoặc loại QUI8 |
bias | tenxơ của bất kỳ giá trị loại nào hoặc không có loại nào |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của các giá trị kiểu float 32 bit hoặc kiểu QI8 hoặc kiểu QUI8 hoặc kiểu QI16 |
tfl.dequantize
(::mlir::TFL::DequantizeOp)
Dequantize toán tử
Chuyển đổi mảng số nguyên đã lượng tử hóa thành dấu phẩy động theo các tham số lượng tử hóa.
Giao diện: NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
input | tenxơ loại QI4 hoặc loại QI8 hoặc loại QUI8 hoặc loại QI16 hoặc giá trị float 16 bit |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tenxơ của các giá trị float 32 bit |
tfl.div
(::mlir::TFL::DivOp)
nhà điều hành bộ phận
Hoạt động phân chia yếu tố khôn ngoan.
Đặc điểm: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, ResultsBroadcastableShape
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflArithmeticCountOpInterface, TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Thuộc tính:
Thuộc tính | Loại MLIR | Sự miêu tả |
---|---|---|
fused_activation_function | ::mlir::StringAttr | thuộc tính chuỗi có giá trị là NONE hoặc RELU hoặc RELU_N1_TO_1 hoặc RELU6 hoặc TANH hoặc SIGN_BIT |
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
lhs | tensor của 32-bit float hoặc 32-bit số nguyên không dấu hoặc các giá trị kiểu QUI8 |
rhs | tensor của 32-bit float hoặc 32-bit số nguyên không dấu hoặc các giá trị kiểu QUI8 |
Kết quả:
Kết quả | Sự miêu tả |
---|---|
output | tensor của 32-bit float hoặc 32-bit số nguyên không dấu hoặc các giá trị kiểu QUI8 |
tfl.dynamic_update_slice
(::mlir::TFL::DynamicUpdateSliceOp)
DynamicUpdateSlice.
DynamicUpdateSlice op có cùng ngữ nghĩa với XLA DynamicUpdateSlice. Tạo ra một kết quả là giá trị của toán hạng mảng đầu vào, với một bản cập nhật lát cắt được ghi đè tại start_indices.
Xem https://www.tensorflow.org/xla/operation_semantics#dynamicupdateslice
Đặc điểm: AlwaysSpeculatableImplTrait
Giao diện: Có thể suy đoán có điều kiện, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Hiệu ứng: MemoryEffects::Effect{}
Toán hạng:
toán hạng | Sự miêu tả |
---|---|
operand | tenxơ của số nguyên không dấu 1 bit hoặc số nguyên không dấu 8 bit hoặc số nguyên không dấu 32 bit hoặc số nguyên không dấu 64 bit hoặc giá trị float 32 bit |
update | tensor of 1-bit signless integer or 8-bit signless integer or 32-bit signless integer or 64-bit signless integer or 32-bit float values |
start_indices | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 1-bit signless integer or 8-bit signless integer or 32-bit signless integer or 64-bit signless integer or 32-bit float values |
tfl.elu
(::mlir::TFL::EluOp)
Exponential Linear Unit operator
Computes the exponential linear f(x) -> exp(x) - 1 for x < 0, x for x >= 0. element-wise.
Traits: AlwaysSpeculatableImplTrait, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 32-bit float or 8-bit signless integer values |
Results:
Result | Description |
---|---|
y | tensor of 32-bit float or 8-bit signless integer values |
tfl.embedding_lookup
(::mlir::TFL::EmbeddingLookupOp)
Embedding lookup operator
Looks up ids in a list of embedding tensors.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, DynamicRangeQuantizedOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
lookup | tensor of 32-bit signless integer values |
value | tensor of 32-bit float or 8-bit signless integer or 8-bit unsigned integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 8-bit signless integer or 8-bit unsigned integer values |
tfl.equal
(::mlir::TFL::EqualOp)
Equal operator
Returns the truth element of x == y element-wise
Traits: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, Commutative, QuantizableResult, ResultsBroadcastableShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 1-bit signless integer or 32-bit float or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or 8-bit unsigned integer or TFLite string type values |
y | tensor of 1-bit signless integer or 32-bit float or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or 8-bit unsigned integer or TFLite string type values |
Results:
Result | Description |
---|---|
output | tensor of 1-bit signless integer values |
tfl.exp
(::mlir::TFL::ExpOp)
Natural exponentiation operator
Performs element-wise natural exponentiation operation on input.
Traits: AlwaysSpeculatableImplTrait, InferTensorType, TF::SameOperandsAndResultTypeResolveRef
Interfaces: ConditionallySpeculatable, InferShapedTypeOpInterface, InferTypeOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 32-bit float values |
Results:
Result | Description |
---|---|
y | tensor of 32-bit float values |
tfl.expand_dims
(::mlir::TFL::ExpandDimsOp)
Inserts a dimension of 1 into a tensor's shape.
Given a tensor input
, this operation inserts a dimension of 1 at the dimension index axis
of input
's shape. The dimension index axis
starts at zero; if you specify a negative number for axis
it is counted backward from the end.
This operation is useful if you want to add a batch dimension to a single element. For example, if you have a single image of shape [height, width, channels]
, you can make it a batch of 1 image with expand_dims(image, 0)
, which will make the shape [1, height, width, channels]
.
Other examples:
# 't' is a tensor of shape [2]
shape(expand_dims(t, 0)) ==> [1, 2]
shape(expand_dims(t, 1)) ==> [2, 1]
shape(expand_dims(t, -1)) ==> [2, 1]
# 't2' is a tensor of shape [2, 3, 5]
shape(expand_dims(t2, 0)) ==> [1, 2, 3, 5]
shape(expand_dims(t2, 2)) ==> [2, 3, 1, 5]
shape(expand_dims(t2, 3)) ==> [2, 3, 5, 1]
This operation requires that:
-1-input.dims() <= dim <= input.dims()
This operation is related to squeeze()
, which removes dimensions of size 1.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of any type values |
dim | tensor of 32/64-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of any type values |
tfl.external_const
(::mlir::TFL::ExternalConstOp)
External const op.
External const op holds a buffer_index
which points to a constant in the flatbuffer.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
buffer_index | ::mlir::IntegerAttr | 32-bit signless integer attribute |
Results:
Result | Description |
---|---|
output | tensor of any type values |
tfl.fake_quant
(::mlir::TFL::FakeQuantOp)
FakeQuant operator
Fake-quantize the 'inputs' tensor of type float via float scalars min and max to 'outputs' tensor of same shape as inputs.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
min | ::mlir::FloatAttr | 32-bit float attribute |
max | ::mlir::FloatAttr | 32-bit float attribute |
num_bits | ::mlir::IntegerAttr | 32-bit signless integer attribute whose minimum value is 2 whose maximum value is 16 |
narrow_range | ::mlir::BoolAttr | bool attribute whose value is false |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float values |
tfl.fill
(::mlir::TFL::FillOp)
Fill the tensor with given value.
Fill the tensor with given value.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
dims | tensor of 32/64-bit signless integer values |
input | tensor of 32-bit float or 16-bit float or 32-bit signless integer or 64-bit signless integer or 1-bit signless integer or QI8 type or QI16 type or TFLite string type values |
Results:
Result | Description |
---|---|
result | tensor of 32-bit float or 16-bit float or 32-bit signless integer or 64-bit signless integer or 1-bit signless integer or QI8 type or QI16 type or TFLite string type values |
tfl.floor_div
(::mlir::TFL::FloorDivOp)
Floor div operator
Element-wise floor div operation.
Traits: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, ResultsBroadcastableShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
lhs | tensor of 32-bit float or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer values |
rhs | tensor of 32-bit float or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer values |
tfl.floor_mod
(::mlir::TFL::FloorModOp)
Division reminder
Element-wise division reminder operation.
Traits: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, ResultsBroadcastableShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
lhs | tensor of 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or 32-bit float values |
rhs | tensor of 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or 32-bit float values |
Results:
Result | Description |
---|---|
output | tensor of 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or 32-bit float values |
tfl.floor
(::mlir::TFL::FloorOp)
Floor operator
Returns element-wise floor value of the input.
Traits: AlwaysSpeculatableImplTrait, InferTensorType, TF::SameOperandsAndResultTypeResolveRef
Interfaces: ConditionallySpeculatable, InferShapedTypeOpInterface, InferTypeOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 32-bit float values |
Results:
Result | Description |
---|---|
y | tensor of 32-bit float values |
tfl.fully_connected
(::mlir::TFL::FullyConnectedOp)
Fully connected op
Traits: AlwaysSpeculatableImplTrait, QuantizableResult, quant::AccumulatorUniformScale<2, 0, 1>, quant::AffineOpCoefficient<-1, 1>
Interfaces: AffineQuantizedOpInterface, ConditionallySpeculatable, DynamicRangeQuantizedOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TFL_SparseOp, TflArithmeticCountOpInterface, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
fused_activation_function | ::mlir::StringAttr | string attribute whose value is NONE, or RELU, or RELU_N1_TO_1, or RELU6, or TANH, or SIGN_BIT |
weights_format | ::mlir::StringAttr | string attribute whose value is DEFAULT, or SHUFFLED4x16INT8 |
keep_num_dims | ::mlir::BoolAttr | bool attribute |
asymmetric_quantize_inputs | ::mlir::BoolAttr | bool attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or QI8 type or QUI8 type or QI16 type or QUI16 type values |
filter | tensor of 32-bit float or QI4 type or QI8 type or QUI8 type or QI16 type values |
bias | tensor of any type values or none type |
Results:
Result | Description |
---|---|
output | tensor of any type values |
tfl.gather_nd
(::mlir::TFL::GatherNdOp)
Gather_nd operator
Gather slices from params
into a Tensor with shape specified by indices
.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
params | tensor of 32-bit float or 8-bit signless integer or 16-bit signless integer or 64-bit signless integer or 32-bit signless integer or 8-bit unsigned integer or TFLite string type values |
indices | tensor of 32/64-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 8-bit signless integer or 16-bit signless integer or 64-bit signless integer or 32-bit signless integer or 8-bit unsigned integer or TFLite string type values |
tfl.gather
(::mlir::TFL::GatherOp)
Gather operator
Gather slices from params
axis axis
according to indices
.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, DynamicRangeQuantizedOpInterface, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
axis | ::mlir::IntegerAttr | 32-bit signless integer attribute |
batch_dims | ::mlir::IntegerAttr | 32-bit signless integer attribute |
Operands:
Operand | Description |
---|---|
params | tensor of 32-bit float or 1-bit signless integer or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or TFLite string type or 8-bit unsigned integer or QI8 type or QUI8 type or QI16 type values |
indices | tensor of 16-bit signless integer or 32-bit signless integer or 64-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 1-bit signless integer or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or TFLite string type or 8-bit unsigned integer or QI8 type or QUI8 type or QI16 type values |
tfl.gelu
(::mlir::TFL::GeluOp)
GELU activation function.
Computes GELU activation function element-wise.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
approximate | ::mlir::BoolAttr | bool attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or QI8 type or QUI8 type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or QI8 type or QUI8 type values |
tfl.greater_equal
(::mlir::TFL::GreaterEqualOp)
Greater_equal operator
Element-wise greater_equal operation.
Traits: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, QuantizableResult, ResultsBroadcastableShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
lhs | tensor of 32-bit float or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or QUI8 type or QI8 type values |
rhs | tensor of 32-bit float or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or QUI8 type or QI8 type values |
Results:
Result | Description |
---|---|
output | tensor of 1-bit signless integer values |
tfl.greater
(::mlir::TFL::GreaterOp)
Greater operator
Element-wise greater operation.
Traits: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, QuantizableResult, ResultsBroadcastableShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
lhs | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QUI8 type or QI8 type or TFLite quint8 type values |
rhs | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QUI8 type or QI8 type or TFLite quint8 type values |
Results:
Result | Description |
---|---|
output | tensor of 1-bit signless integer values |
tfl.hard_swish
(::mlir::TFL::HardSwishOp)
Hardswish activation function.
Computes hard-swish activation function f(x) -> (x * relu6(x+3))/6 element-wise.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or QUI8 type or QI8 type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or QUI8 type or QI8 type values |
tfl.hashtable_find
(::mlir::TFL::HashtableFindOp)
Looks up keys in a table, outputs the corresponding values.
The tensor keys
must of the same type as the keys of the table. The output values
is of the type of the table values.
The scalar default_value
is the value output for keys not present in the table. It must also be of the same type as the table values.
Interfaces: TflRuntimeVerifyOpInterface
Operands:
Operand | Description |
---|---|
hash_table | tensor of resource values |
keys | tensor of 32-bit signless integer or TFLite string type or 64-bit signless integer values |
default_value | tensor of 32-bit float or 32-bit signless integer or TFLite string type or 64-bit signless integer values |
Results:
Result | Description |
---|---|
out | tensor of 32-bit float or 32-bit signless integer or TFLite string type or 64-bit signless integer values |
tfl.hashtable_import
(::mlir::TFL::HashtableImportOp)
Replaces the contents of the table with the specified keys and values.
The tensor keys
must be of the same type as the keys of the table. The tensor values
must be of the type of the table values.
Interfaces: TflRuntimeVerifyOpInterface
Operands:
Operand | Description |
---|---|
hash_table | tensor of resource values |
keys | tensor of 32-bit signless integer or TFLite string type or 64-bit signless integer values |
values | tensor of 32-bit float or 32-bit signless integer or TFLite string type or 64-bit signless integer values |
tfl.hashtable
(::mlir::TFL::HashtableOp)
Creates a non-initialized hash table.
This op creates a hash table, specifying the type of its keys and values. Before using the table you will have to initialize it. After initialization the table will be immutable.
Interfaces: TflRuntimeVerifyOpInterface
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
table_id | ::mlir::IntegerAttr | 32-bit signless integer attribute |
key_dtype | ::mlir::TypeAttr | any type attribute |
value_dtype | ::mlir::TypeAttr | any type attribute |
Results:
Result | Description |
---|---|
out | tensor of resource values |
tfl.hashtable_size
(::mlir::TFL::HashtableSizeOp)
Computes the number of elements in the given table.
Interfaces: TflRuntimeVerifyOpInterface
Operands:
Operand | Description |
---|---|
hash_table | tensor of resource values |
Results:
Result | Description |
---|---|
out | tensor of 64-bit signless integer values |
tfl.if
(::mlir::TFL::IfOp)
if-then-else operation
The tfl.if
operation represents an if-then-else construct for conditionally executing two regions of code. The operand to an if operation is a boolean value. For example:
tfl.if %b {
...
} else {
...
}
tfl.if
may also return results that are defined in its regions. The values defined are determined by which execution path is taken.
Example:
%x, %y = tfl.if %b -> (tensor<f32>, tensor<f32>) {
%x_true = ...
%y_true = ...
tfl.yield %x_true, %y_true : tensor<f32>, tensor<f32>
} else {
%x_false = ...
%y_false = ...
tfl.yield %x_false, %y_false : tensor<f32>, tensor<f32>
}
tfl.if
regions are always terminated with "tfl.yield". If "tfl.if" defines no values, the "tfl.yield" can be left out, and will be inserted implicitly. Otherwise, it must be explicit. Also, if "tfl.if" defines one or more values, the 'else' block cannot be omitted.
Example:
tfl.if %b {
...
}
Traits: NoRegionArguments, RecursiveMemoryEffects, SingleBlockImplicitTerminator
Interfaces: RegionBranchOpInterface, TflRuntimeVerifyOpInterface
Operands:
Operand | Description |
---|---|
cond | tensor of 1-bit signless integer values |
Results:
Result | Description |
---|---|
results | tensor of any type values |
tfl.imag
(::mlir::TFL::ImagOp)
Returns the imaginary part of a complex number.
Given a tensor input
of complex numbers, this operation returns a tensor of type float
that is the imaginary part of each element in input
. All elements in input
must be complex numbers of the form \(a + bj\), where a is the real part and b is the imaginary part returned by this operation.
Traits: AlwaysSpeculatableImplTrait, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of complex type with 32-bit float elements or complex type with 64-bit float elements values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 64-bit float values |
tfl.l2_normalization
(::mlir::TFL::L2NormalizationOp)
L2 Normalize Operator
L2Normalization Op
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, FixedOutputRangeInterface, NoMemoryEffect (MemoryEffectOpInterface), TflArithmeticCountOpInterface, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
fused_activation_function | ::mlir::StringAttr | string attribute whose value is NONE, or RELU, or RELU_N1_TO_1, or RELU6, or TANH, or SIGN_BIT |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or QUI8 type or QI8 type or QUI16 type or QI16 type or 8-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or QUI8 type or QI8 type or QUI16 type or QI16 type or 8-bit signless integer values |
tfl.lstm
(::mlir::TFL::LSTMOp)
The full lstm operator
Long short-term memory unit (LSTM) recurrent network layer. The default non-peephole implementation is based on: http://deeplearning.cs.cmu.edu/pdfs/Hochreiter97_lstm.pdf S. Hochreiter and J. Schmidhuber. 'Long Short-Term Memory'. Neural Computation, 9(8):1735-1780, 1997. The peephole implementation is based on: https://research.google.com/pubs/archive/43905.pdf Hasim Sak, Andrew Senior, and Francoise Beaufays. 'Long short-term memory recurrent neural network architectures for large scale acoustic modeling.' INTERSPEECH, 2014. The coupling of input and forget gate (CIFG) is based on: http://arxiv.org/pdf/1503.04069.pdf Greff et al. 'LSTM: A Search Space Odyssey' The layer normalization is based on: https://arxiv.org/pdf/1607.06450.pdf Ba et al. 'Layer Normalization'
Traits: QuantizableResult
Interfaces: DynamicRangeQuantizedOpInterface, TFL_StatefulOp, TflRuntimeVerifyOpInterface
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
fused_activation_function | ::mlir::StringAttr | string attribute whose value is NONE, or RELU, or RELU_N1_TO_1, or RELU6, or TANH, or SIGN_BIT |
cell_clip | ::mlir::FloatAttr | 32-bit float attribute whose value is non-negative |
proj_clip | ::mlir::FloatAttr | 32-bit float attribute whose value is non-negative |
kernel_type | ::mlir::TFL::LSTMKernelTypeAttr | lstm_kernel_type whose value is mlir::TFL::LSTMKernelType::FULL |
asymmetric_quantize_inputs | ::mlir::BoolAttr | bool attribute |
input_to_input_intermediate | ::mlir::TypeAttr | any type attribute |
input_to_forget_intermediate | ::mlir::TypeAttr | any type attribute |
input_to_cell_intermediate | ::mlir::TypeAttr | any type attribute |
input_to_output_intermediate | ::mlir::TypeAttr | any type attribute |
effective_hidden_scale_intermediate | ::mlir::TypeAttr | any type attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or QI8 type or QI16 type values |
input_to_input_weights | tensor of any type values or none type |
input_to_forget_weights | tensor of 32-bit float or QI8 type values |
input_to_cell_weights | tensor of 32-bit float or QI8 type values |
input_to_output_weights | tensor of 32-bit float or QI8 type values |
recurrent_to_input_weights | tensor of any type values or none type |
recurrent_to_forget_weights | tensor of 32-bit float or QI8 type values |
recurrent_to_cell_weights | tensor of 32-bit float or QI8 type values |
recurrent_to_output_weights | tensor of 32-bit float or QI8 type values |
cell_to_input_weights | tensor of any type values or none type |
cell_to_forget_weights | tensor of any type values or none type |
cell_to_output_weights | tensor of any type values or none type |
input_gate_bias | tensor of any type values or none type |
forget_gate_bias | tensor of 32-bit float or QI32 type values |
cell_bias | tensor of 32-bit float or QI32 type values |
output_gate_bias | tensor of 32-bit float or QI32 type values |
projection_weights | tensor of any type values or none type |
projection_bias | tensor of any type values or none type |
input_activation_state | stateful tensor |
input_cell_state | stateful tensor |
input_layer_norm_coefficients | tensor of any type values or none type |
forget_layer_norm_coefficients | tensor of any type values or none type |
cell_layer_norm_coefficients | tensor of any type values or none type |
output_layer_norm_coefficients | tensor of any type values or none type |
Results:
Result | Description |
---|---|
output | tensor of any type values |
tfl.leaky_relu
(::mlir::TFL::LeakyReluOp)
Leaky Relu operator
Element-wise Leaky ReLU operator x -> x >= 0 ? x : (alpha * x)
Traits: AlwaysSpeculatableImplTrait, QuantizableResult, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
alpha | ::mlir::FloatAttr | 32-bit float attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or QUI8 type or QI8 type or TFLite quint8 type or QI16 type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or QUI8 type or QI8 type or TFLite quint8 type or QI16 type values |
tfl.less_equal
(::mlir::TFL::LessEqualOp)
Less_equal operator
Element-wise less_equal operation.
Traits: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, QuantizableResult, ResultsBroadcastableShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
lhs | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type values |
rhs | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type values |
Results:
Result | Description |
---|---|
output | tensor of 1-bit signless integer values |
tfl.less
(::mlir::TFL::LessOp)
Less operator
Element-wise less operation.
Traits: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, QuantizableResult, ResultsBroadcastableShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
lhs | tensor of 32-bit float or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or QUI8 type or QI8 type or TFLite quint8 type values |
rhs | tensor of 32-bit float or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or QUI8 type or QI8 type or TFLite quint8 type values |
Results:
Result | Description |
---|---|
output | tensor of 1-bit signless integer values |
tfl.local_response_normalization
(::mlir::TFL::LocalResponseNormalizationOp)
Local Response Normalization.
The 4-D input
tensor is treated as a 3-D array of 1-D vectors (along the last dimension), and each vector is normalized independently. Within a given vector, each component is divided by the weighted, squared sum of inputs within depth_radius
. In detail,
sqr_sum[a, b, c, d] =
sum(input[a, b, c, d - depth_radius : d + depth_radius + 1] ** 2)
output = input / (bias + alpha * sqr_sum) ** beta
For details, see Krizhevsky et al., ImageNet classification with deep convolutional neural networks (NIPS 2012) .
Traits: AlwaysSpeculatableImplTrait, InferTensorType, TF::SameOperandsAndResultTypeResolveRef
Interfaces: ConditionallySpeculatable, InferShapedTypeOpInterface, InferTypeOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
radius | ::mlir::IntegerAttr | 32-bit signless integer attribute |
bias | ::mlir::FloatAttr | 32-bit float attribute |
alpha | ::mlir::FloatAttr | 32-bit float attribute |
beta | ::mlir::FloatAttr | 32-bit float attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float values |
tfl.log
(::mlir::TFL::LogOp)
Natural logarithm operator
Performs element-wise natural logarithm operation on input.
Traits: AlwaysSpeculatableImplTrait, InferTensorType, TF::SameOperandsAndResultTypeResolveRef
Interfaces: ConditionallySpeculatable, InferShapedTypeOpInterface, InferTypeOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 32-bit float values |
Results:
Result | Description |
---|---|
y | tensor of 32-bit float values |
tfl.log_softmax
(::mlir::TFL::LogSoftmaxOp)
Log softmax operator
Computes element-wise log softmax activations with the following formula
input - log(reduce_sum(exp(input), dim))
Traits: AlwaysSpeculatableImplTrait, QuantizableResult, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, FixedOutputRangeInterface, NoMemoryEffect (MemoryEffectOpInterface), TflArithmeticCountOpInterface, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or QUI8 type or QI8 type or TFLite quint8 type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or QUI8 type or QI8 type or TFLite quint8 type values |
tfl.logical_and
(::mlir::TFL::LogicalAndOp)
Logical AND operator
Element-wise logical AND operation.
Traits: AlwaysSpeculatableImplTrait
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
lhs | tensor of 1-bit signless integer values |
rhs | tensor of 1-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 1-bit signless integer values |
tfl.logical_not
(::mlir::TFL::LogicalNotOp)
Logical NOT operator
Element-wise logical NOT operation.
Traits: AlwaysSpeculatableImplTrait, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
lhs | tensor of 1-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 1-bit signless integer values |
tfl.logical_or
(::mlir::TFL::LogicalOrOp)
Logical OR operator
Element-wise logical OR operation.
Traits: AlwaysSpeculatableImplTrait
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
lhs | tensor of 1-bit signless integer values |
rhs | tensor of 1-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 1-bit signless integer values |
tfl.logistic
(::mlir::TFL::LogisticOp)
Logistic operator
Computes element-wise Sigmoid of input
Traits: AlwaysSpeculatableImplTrait, QuantizableResult, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, FixedOutputRangeInterface, NoMemoryEffect (MemoryEffectOpInterface), TflArithmeticCountOpInterface, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 32-bit float or QI8 type or QUI8 type or QI16 type or TFLite quint8 type values |
Results:
Result | Description |
---|---|
y | tensor of 32-bit float or QI8 type or QUI8 type or QI16 type or TFLite quint8 type values |
tfl.matrix_diag
(::mlir::TFL::MatrixDiagOp)
Returns a tensor with the provided diagonal and everything else padded with zeros.
Given a diagonal, returns a tensor with the diagonal and everything else padded with zeros. Assume diagonal has k dimensions [I, J, K, ..., N]
, then the output is a tensor of rank k+1
with dimensions [I, J, K, ..., N, N]
where: output[i, j, k, ..., m, n] = 1{m=n} * diagonal[i, j, k, ..., n].
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
diagonal | tensor of 32-bit float or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or 8-bit unsigned integer or QUI8 type or QI8 type or TFLite quint8 type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or 8-bit unsigned integer or QUI8 type or QI8 type or TFLite quint8 type values |
tfl.matrix_set_diag
(::mlir::TFL::MatrixSetDiagOp)
Returns a batched matrix tensor with new batched diagonal values.
Given input
and diagonal
, this operation returns a tensor with the same shape and values as input
, except for the main diagonal of the innermost matrices. These will be overwritten by the values in diagonal
.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or 8-bit unsigned integer or QI8 type or QI16 type or QUI8 type or TFLite quint8 type values |
diagonal | tensor of 32-bit float or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or 8-bit unsigned integer or QI8 type or QI16 type or QUI8 type or TFLite quint8 type values |
Results:
Result | Description |
---|---|
result | tensor of 32-bit float or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or 8-bit unsigned integer or QI8 type or QI16 type or QUI8 type or TFLite quint8 type values |
tfl.max_pool_2d
(::mlir::TFL::MaxPool2DOp)
Max Pool 2D op
Performs max pool 2D on input.
Inputs: inputs[0]
: required: the input tensor
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflArithmeticCountOpInterface, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
padding | ::mlir::StringAttr | string attribute whose value is SAME, or VALID |
stride_w | ::mlir::IntegerAttr | 32-bit signless integer attribute |
stride_h | ::mlir::IntegerAttr | 32-bit signless integer attribute |
filter_width | ::mlir::IntegerAttr | 32-bit signless integer attribute |
filter_height | ::mlir::IntegerAttr | 32-bit signless integer attribute |
fused_activation_function | ::mlir::StringAttr | string attribute whose value is NONE, or RELU, or RELU_N1_TO_1, or RELU6, or TANH, or SIGN_BIT |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or QUI8 type or QI8 type or QI16 type or TFLite quint8 type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or QUI8 type or QI8 type or QI16 type or TFLite quint8 type values |
tfl.maximum
(::mlir::TFL::MaximumOp)
Max operator
Element-wise max operation.
Traits: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, Commutative, QuantizableResult, ResultsBroadcastableShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
lhs | tensor of 32-bit float or 32/64-bit signless integer or QI8 type or QUI8 type or QI16 type values |
rhs | tensor of 32-bit float or 32/64-bit signless integer or QI8 type or QUI8 type or QI16 type values |
Results:
Result | Description |
---|---|
max | tensor of 32-bit float or 32/64-bit signless integer or QI8 type or QUI8 type or QI16 type values |
tfl.mean
(::mlir::TFL::MeanOp)
Mean operator
Computes the mean of elements across dimensions of a tensor. Reduces input_tensor along the dimensions given in axis. Unless keepdims is true, the rank of the tensor is reduced by 1 for each entry in axis. If keepdims is true, the reduced dimensions are retained with length 1.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
keep_dims | ::mlir::BoolAttr | bool attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or 8-bit unsigned integer or QI16 type values |
axis | tensor of 32-bit signless integer or 64-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or 8-bit unsigned integer or QI16 type values |
tfl.minimum
(::mlir::TFL::MinimumOp)
Min operator
Element-wise min operation.
Traits: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, Commutative, QuantizableResult, ResultsBroadcastableShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
lhs | tensor of 32-bit float or 32/64-bit signless integer or QI8 type or QUI8 type or QI16 type values |
rhs | tensor of 32-bit float or 32/64-bit signless integer or QI8 type or QUI8 type or QI16 type values |
Results:
Result | Description |
---|---|
min | tensor of 32-bit float or 32/64-bit signless integer or QI8 type or QUI8 type or QI16 type values |
tfl.mirror_pad
(::mlir::TFL::MirrorPadOp)
MirrorPad Operator. Pads a tensor with mirrored values.
This operation pads a input with mirrored values according to the paddings you specify. paddings is an integer tensor with shape [n, 2], where n is the rank of input. For each dimension D of input, paddings[D, 0] indicates how many values to add before the contents of input in that dimension, and paddings[D, 1] indicates how many values to add after the contents of input in that dimension.
Both paddings[D, 0] and paddings[D, 1] must be no greater than input.dim_size(D) (or input.dim_size(D) - 1) if copy_border is true (if false, respectively).
The padded size of each dimension D of the output is:
paddings(D, 0) + input.dim_size(D) + paddings(D, 1)
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
mode | ::mlir::TFL::MirrorPaddingTypeAttr | mirror_pad_enum |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or 8-bit signless integer or 8-bit unsigned integer or QI8 type or QUI8 type or QI16 type values |
pad | tensor of 32-bit signless integer or 64-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or 8-bit signless integer or 8-bit unsigned integer or QI8 type or QUI8 type or QI16 type values |
tfl.mul
(::mlir::TFL::MulOp)
Multiplication operator
Element-wise multiplication operation.
Traits: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, Commutative, QuantizableResult, ResultsBroadcastableShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflArithmeticCountOpInterface, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
fused_activation_function | ::mlir::StringAttr | string attribute whose value is NONE, or RELU, or RELU_N1_TO_1, or RELU6, or TANH, or SIGN_BIT |
Operands:
Operand | Description |
---|---|
lhs | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or QI16 type or complex type with 32-bit float elements values |
rhs | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or QI16 type or complex type with 32-bit float elements values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or QI16 type or complex type with 32-bit float elements values |
tfl.multinomial
(::mlir::TFL::MultinomialOp)
Draws samples from a categorical distribution.
The generated values will have a categorical distribution based on the logits
or unnormalized log-probabilities provided for all classes.
Interfaces: TflRuntimeVerifyOpInterface
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
seed | ::mlir::IntegerAttr | 64-bit signless integer attribute |
seed2 | ::mlir::IntegerAttr | 64-bit signless integer attribute |
Operands:
Operand | Description |
---|---|
logits | tensor of 32-bit float values |
num_samples | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
out | tensor of 32-bit signless integer or 64-bit signless integer values |
tfl.neg
(::mlir::TFL::NegOp)
Negation operator
Computes element-wise negation of input
Traits: AlwaysSpeculatableImplTrait, InferTensorType, TF::SameOperandsAndResultTypeResolveRef
Interfaces: ConditionallySpeculatable, InferShapedTypeOpInterface, InferTypeOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer values |
Results:
Result | Description |
---|---|
y | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer values |
tfl.no_value
(::mlir::TFL::NoValueOp)
constant representing no value.
No value constant op.
Traits: AlwaysSpeculatableImplTrait, ConstantLike
Interfaces: ConditionallySpeculatable, InferTypeOpInterface, NoMemoryEffect (MemoryEffectOpInterface)
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
value | ::mlir::UnitAttr | unit attribute |
Results:
Result | Description |
---|---|
none_val | none type |
tfl.non_max_suppression_v4
(::mlir::TFL::NonMaxSuppressionV4Op)
Greedily selects a subset of bounding boxes in descending order of score,
pruning away boxes that have high intersection-over-union (IOU) overlap with previously selected boxes. Bounding boxes with score less than score_threshold
are removed. Bounding boxes are supplied as [y1, x1, y2, x2], where (y1, x1) and (y2, x2) are the coordinates of any diagonal pair of box corners and the coordinates can be provided as normalized (ie, lying in the interval [0, 1]) or absolute. Note that this algorithm is agnostic to where the origin is in the coordinate system and more generally is invariant to orthogonal transformations and translations of the coordinate system; thus translating or reflections of the coordinate system result in the same boxes being selected by the algorithm. The output of this operation is a set of integers indexing into the input collection of bounding boxes representing the selected boxes. The bounding box coordinates corresponding to the selected indices can then be obtained using the tf.gather operation
. For example: selected_indices = tf.image.non_max_suppression_v2( boxes, scores, max_output_size, iou_threshold, score_threshold) selected_boxes = tf.gather(boxes, selected_indices)
Traits: AlwaysSpeculatableImplTrait
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
boxes | tensor of 32-bit float values |
scores | tensor of 32-bit float values |
max_output_size | tensor of 32-bit signless integer values |
iou_threshold | tensor of 32-bit float values |
score_threshold | tensor of 32-bit float values |
Results:
Result | Description |
---|---|
selected_indices | tensor of 32-bit signless integer values |
valid_outputs | tensor of 32-bit signless integer values |
tfl.non_max_suppression_v5
(::mlir::TFL::NonMaxSuppressionV5Op)
Greedily selects a subset of bounding boxes in descending order of score,
pruning away boxes that have high intersection-over-union (IOU) overlap with previously selected boxes. Bounding boxes with score less than score_threshold
are removed. Bounding boxes are supplied as [y1, x1, y2, x2], where (y1, x1) and (y2, x2) are the coordinates of any diagonal pair of box corners and the coordinates can be provided as normalized (ie, lying in the interval [0, 1]) or absolute. Note that this algorithm is agnostic to where the origin is in the coordinate system and more generally is invariant to orthogonal transformations and translations of the coordinate system; thus translating or reflections of the coordinate system result in the same boxes being selected by the algorithm. The output of this operation is a set of integers indexing into the input collection of bounding boxes representing the selected boxes. The bounding box coordinates corresponding to the selected indices can then be obtained using the tf.gather operation
. For example: selected_indices = tf.image.non_max_suppression_v2( boxes, scores, max_output_size, iou_threshold, score_threshold) selected_boxes = tf.gather(boxes, selected_indices) This op also supports a Soft-NMS (with Gaussian weighting) mode (cf Bodla et al, https://arxiv.org/abs/1704.04503 ) where boxes reduce the score of other overlapping boxes instead of directly causing them to be pruned. To enable this Soft-NMS mode, set the soft_nms_sigma
parameter to be larger than 0.
Traits: AlwaysSpeculatableImplTrait
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
boxes | tensor of 32-bit float values |
scores | tensor of 32-bit float values |
max_output_size | tensor of 32-bit signless integer values |
iou_threshold | tensor of 32-bit float values |
score_threshold | tensor of 32-bit float values |
soft_nms_sigma | tensor of 32-bit float values |
Results:
Result | Description |
---|---|
selected_indices | tensor of 32-bit signless integer values |
selected_scores | tensor of 32-bit float values |
valid_outputs | tensor of 32-bit signless integer values |
tfl.not_equal
(::mlir::TFL::NotEqualOp)
Not_equal operator
Element-wise not_equal operation.
Traits: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, Commutative, ResultsBroadcastableShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
lhs | tensor of 1-bit signless integer or 32-bit float or 32-bit signless integer or 64-bit signless integer or QUI8 type or QI8 type or TFLite quint8 type or TFLite string type values |
rhs | tensor of 1-bit signless integer or 32-bit float or 32-bit signless integer or 64-bit signless integer or QUI8 type or QI8 type or TFLite quint8 type or TFLite string type values |
Results:
Result | Description |
---|---|
output | tensor of 1-bit signless integer values |
tfl.NumericVerify
(::mlir::TFL::NumericVerifyOp)
Verifies the numericals of the two operands
The NumericVerify op is a debugging op to verify the numericals of the two activations. It is a custom op in TFLite. If log_if_failed is true, the NumericVerify op calculates statistics on differences between float and quantized activations, output logs, set differences to the output tensors, and throws an error if errors above tolerance exist. If log_if_failed = false, then it doesn't care about errors.
Traits: QuantizableResult, SameOperandsShape
Interfaces: TflRuntimeVerifyOpInterface
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
tolerance | ::mlir::FloatAttr | 32-bit float attribute |
log_if_failed | ::mlir::BoolAttr | bool attribute |
Operands:
Operand | Description |
---|---|
input | tensor of QI8 type or QUI8 type or QI16 type or 16-bit float or TFLite quint8 type values |
ref | tensor of 32-bit float values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float values |
tfl.one_hot
(::mlir::TFL::OneHotOp)
OneHot operator
Returns a one-hot tensor.The locations represented by indices in indices
take value on_value
, while all other locations take value off_value
.
If the input indices
is rank N
, the output will have rank N+1
, The new axis is created at dimension axis
(default: the new axis is appended at the end).
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
axis | ::mlir::IntegerAttr | 32-bit signless integer attribute |
Operands:
Operand | Description |
---|---|
indices | tensor of 32-bit signless integer or 64-bit signless integer values |
depth | tensor of 32-bit signless integer values |
on_value | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or 1-bit signless integer or 8-bit signless integer or 8-bit unsigned integer values |
off_value | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or 1-bit signless integer or 8-bit signless integer or 8-bit unsigned integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or 1-bit signless integer or 8-bit signless integer or 8-bit unsigned integer values |
tfl.prelu
(::mlir::TFL::PReluOp)
Parameterized Relu operator
Parameterized Relu operator x -> x >= 0 ? x : (alpha * x) where alpha is a trainable tensor. input and alpha should be the same size as input or be broadcastable.
Traits: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, QuantizableResult, ResultsBroadcastableShape, quant::AffineOpCoefficient<-1, 1>
Interfaces: AffineQuantizedOpInterface, ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or QI8 type or QUI8 type or TFLite quint8 type values |
alpha | tensor of 32-bit float or QI8 type or QUI8 type or TFLite quint8 type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or QI8 type or QUI8 type or TFLite quint8 type values |
tfl.pack
(::mlir::TFL::PackOp)
Packs a list of tensors along a dimension into one tensor
Packs a list of values_count
rank- R
tensors into one rank- (R+1)
tensor.
Packs the values_count
tensors in values
into a tensor with rank one higher than each tensor in values
, by packing them along the axis
dimension.
Given a list of tensors of shape (A, B, C)
;
if axis == 0
then the output
tensor will have the shape (N, A, B, C)
. if axis == 1
then the output
tensor will have the shape (A, N, B, C)
. Etc.
For example:
# 'x' is [1, 4]
# 'y' is [2, 5]
# 'z' is [3, 6]
pack([x, y, z]) => [[1, 4], [2, 5], [3, 6]] # Pack along first dim.
pack([x, y, z], axis=1) => [[1, 2, 3], [4, 5, 6]]
This is the opposite of unpack
.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
values_count | ::mlir::IntegerAttr | 32-bit signless integer attribute whose value is positive |
axis | ::mlir::IntegerAttr | 32-bit signless integer attribute |
Operands:
Operand | Description |
---|---|
values | tensor of any type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or 8-bit unsigned integer or QI8 type or QUI8 type or QI16 type or TFLite quint8 type values |
tfl.pad
(::mlir::TFL::PadOp)
Padding operator
This operation pads a input
with zeros according to the paddings
you specify. paddings
is an integer tensor with shape [Dn, 2]
, where n is the rank of input
. For each dimension D of input
, paddings[D, 0]
indicates how many zeros to add before the contents of input
in that dimension, and paddings[D, 1]
indicates how many zeros to add after the contents of input
in that dimension.
The padded size of each dimension D of the output is:
paddings(D, 0) + input.dim_size(D) + paddings(D, 1)
For example:
# 't' is [[1, 1], [2, 2]]
# 'paddings' is [[1, 1], [2, 2]]
# rank of 't' is 2
pad(t, paddings) ==> [[0, 0, 0, 0, 0, 0]
[0, 0, 1, 1, 0, 0]
[0, 0, 2, 2, 0, 0]
[0, 0, 0, 0, 0, 0]]
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or TFLite quint8 type or QI16 type values |
padding | tensor of 32/64-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or TFLite quint8 type or QI16 type values |
tfl.padv2
(::mlir::TFL::PadV2Op)
Padding operator v2
This operation pads a input
according to the paddings
and constant_values
you specify. paddings
is an integer tensor with shape [Dn, 2]
, where n is the rank of input
. For each dimension D of input
, paddings[D, 0]
indicates how many zeros to add before the contents of input
in that dimension, and paddings[D, 1]
indicates how many zeros to add after the contents of input
in that dimension. constant_values
is a scalar tensor of the same type as input
that indicates the value to use for padding input
.
The padded size of each dimension D of the output is:
paddings(D, 0) + input.dim_size(D) + paddings(D, 1)
For example:
# 't' is [[1, 1], [2, 2]]
# 'paddings' is [[1, 1], [2, 2]]
# rank of 't' is 2
pad(t, paddings) ==> [[0, 0, 0, 0, 0, 0]
[0, 0, 1, 1, 0, 0]
[0, 0, 2, 2, 0, 0]
[0, 0, 0, 0, 0, 0]]
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or 8-bit unsigned integer or QI8 type or QUI8 type or TFLite quint8 type values |
padding | tensor of 32/64-bit signless integer values |
constant_values | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or 8-bit unsigned integer or QI8 type or QUI8 type or TFLite quint8 type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or 8-bit unsigned integer or QI8 type or QUI8 type or TFLite quint8 type values |
tfl.poly_call
(::mlir::TFL::PolyCallOp)
Poly call
Have multiple function bodies for the same computation. This allows a program compiler/interpreter to choose one of the available options to execute the program based on which one is most suitable for the target backend.
input: A list of input tensors whose types are T. output: A list of output tensors whose types are T.
call: Multiple regions, each of which encapsulates the same semantic computation but in different forms.
Traits: SingleBlockImplicitTerminator
Interfaces: RegionBranchOpInterface
Operands:
Operand | Description |
---|---|
input | tensor of any type values |
Results:
Result | Description |
---|---|
output | tensor of any type values |
tfl.pow
(::mlir::TFL::PowOp)
Power operator
Element-wise power operation.
Traits: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, ResultsBroadcastableShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
lhs | tensor of 32-bit float or 32-bit signless integer values |
rhs | tensor of 32-bit float or 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer values |
tfl.pseudo_qconst
(::mlir::TFL::QConstOp)
Quantized constant pseudo op
Represents a quantized constant value in TensorFlow Lite dialect. This is not an actual operation and it will be lowered to buffer instead. The quantization parameters are stored as a type attribute in this constant.
Traits: AlwaysSpeculatableImplTrait, FirstAttrDerivedResultType
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface)
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
qtype | ::mlir::TypeAttr | Tensor type attribute |
value | ::mlir::ElementsAttr | constant vector/tensor attribute |
Results:
Result | Description |
---|---|
output | tensor of QUI8 type or QI8 type or QI16 type or QUI16 type or TFLite quint8 type values |
tfl.quantize
(::mlir::TFL::QuantizeOp)
Quantize operator
Converts floating point tensors to quantized integer tensors according to the quantization parameters defined in the type attribute.
Traits: FirstAttrDerivedResultType, SameOperandsAndResultShape
Interfaces: NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
qtype | ::mlir::TypeAttr | Tensor type attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or QI4 type or QI8 type or QUI8 type or QI16 type or TFLite quint8 type values |
Results:
Result | Description |
---|---|
output | tensor of QI4 type or QI8 type or QUI8 type or QI16 type or TFLite quint8 type values |
tfl.rfft2d
(::mlir::TFL::RFFT2dOp)
2D real-valued fast Fourier transform.
Computes the 2-dimensional discrete Fourier transform of a real-valued signal over the inner-most 2 dimensions of input
.
Since the DFT of a real signal is Hermitian-symmetric, RFFT2D
only returns the fft_length / 2 + 1
unique components of the FFT for the inner-most dimension of output
: the zero-frequency term, followed by the fft_length / 2
positive-frequency terms.
Along each axis RFFT2D
is computed on, if fft_length
is smaller than the corresponding dimension of input
, the dimension is cropped. If it is larger, the dimension is padded with zeros.
Traits: AlwaysSpeculatableImplTrait
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float values |
fft_length | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of complex type with 32-bit float elements values |
tfl.random_standard_normal
(::mlir::TFL::RandomStandardNormalOp)
Outputs random values from a normal distribution.
The generated values will have mean 0 and standard deviation 1.
Interfaces: TflRuntimeVerifyOpInterface
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
seed | ::mlir::IntegerAttr | 64-bit signless integer attribute |
seed2 | ::mlir::IntegerAttr | 64-bit signless integer attribute |
Operands:
Operand | Description |
---|---|
shape | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
out | tensor of 32-bit float values |
tfl.random_uniform
(::mlir::TFL::RandomUniformOp)
Outputs random values from a uniform distribution.
The generated values follow a uniform distribution in the range [0, 1)
. The lower bound 0 is included in the range, while the upper bound 1 is excluded.
Interfaces: TflRuntimeVerifyOpInterface
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
seed | ::mlir::IntegerAttr | 64-bit signless integer attribute |
seed2 | ::mlir::IntegerAttr | 64-bit signless integer attribute |
Operands:
Operand | Description |
---|---|
shape | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
out | tensor of 32-bit float values |
tfl.range
(::mlir::TFL::RangeOp)
Range operator
Returns a 1D tensor defined by a sequence from start
to limit
with a given delta
.
Traits: AlwaysSpeculatableImplTrait
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
start | tensor of 32-bit signless integer or 32-bit float values |
limit | tensor of 32-bit signless integer or 32-bit float values |
delta | tensor of 32-bit signless integer or 32-bit float values |
Results:
Result | Description |
---|---|
result | tensor of 32-bit signless integer or 32-bit float values |
tfl.rank
(::mlir::TFL::RankOp)
Rank operator.
Returns the rank of a tensor.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of any type values |
Results:
Result | Description |
---|---|
output | tensor of any integer type |
tfl.read_variable
(::mlir::TFL::ReadVariableOp)
Reads variable value.
Read variable data identified by 'resource_id'.
Interfaces: TflRuntimeVerifyOpInterface
Operands:
Operand | Description |
---|---|
resource_id | tensor of resource values |
Results:
Result | Description |
---|---|
result | tensor of 32-bit float or 64-bit float or 1-bit signless integer or 8-bit unsigned integer or 8-bit signless integer or QI8 type or QUI8 type or 32-bit signless integer or 64-bit signless integer or QI16 type or complex type with 32-bit float elements or complex type with 64-bit float elements values |
tfl.real
(::mlir::TFL::RealOp)
Returns the real part of a complex number.
Given a tensor input
of complex numbers, this operation returns a tensor of type float
that is the real part of each element in input
. All elements in input
must be complex numbers of the form \(a + bj\), where a is the real part returned by this operation and b is the imaginary part.
Traits: AlwaysSpeculatableImplTrait, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of complex type with 32-bit float elements or complex type with 64-bit float elements values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 64-bit float values |
tfl.reduce_all
(::mlir::TFL::ReduceAllOp)
Computes the "logical and" of elements across dimensions of a tensor.
Reduces input
along the dimensions given in axis
. Unless keep_dims
is true, the rank of the tensor is reduced by 1 for each entry in axis
. If keep_dims
is true, the reduced dimensions are retained with length 1.
Traits: AlwaysSpeculatableImplTrait
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
keep_dims | ::mlir::BoolAttr | bool attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 1-bit signless integer values |
reduction_indices | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 1-bit signless integer values |
tfl.reduce_any
(::mlir::TFL::ReduceAnyOp)
Computes the "logical or" of elements across dimensions of a tensor.
Reduces input
along the dimensions given in axis
. Unless keep_dims
is true, the rank of the tensor is reduced by 1 for each entry in axis
. If keep_dims
is true, the reduced dimensions are retained with length 1.
Traits: AlwaysSpeculatableImplTrait
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
keep_dims | ::mlir::BoolAttr | bool attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 1-bit signless integer values |
reduction_indices | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 1-bit signless integer values |
tfl.reduce_max
(::mlir::TFL::ReduceMaxOp)
Max-reduction operator
Computes the max reduction along the specified axes
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
keep_dims | ::mlir::BoolAttr | bool attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or TFLite quint8 type or QI16 type values |
axes | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or TFLite quint8 type or QI16 type values |
tfl.reduce_min
(::mlir::TFL::ReduceMinOp)
Min-reduction operator
Computes the min reduction along the specified axes
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
keep_dims | ::mlir::BoolAttr | bool attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or TFLite quint8 type or QI16 type values |
axes | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or TFLite quint8 type or QI16 type values |
tfl.reduce_prod
(::mlir::TFL::ReduceProdOp)
Prod-reduction operator
Computes the product along the specified axes
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
keep_dims | ::mlir::BoolAttr | bool attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or TFLite quint8 type or QI16 type values |
axes | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or TFLite quint8 type or QI16 type values |
tfl.relu_0_to_1
(::mlir::TFL::Relu0To1Op)
Relu0To1 operator
Element-wise Relu0To1 operator x -> max(0, min(1, x))
Traits: AlwaysSpeculatableImplTrait, QuantizableResult, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 32-bit float or QUI8 type or QI8 type values |
Results:
Result | Description |
---|---|
y | tensor of 32-bit float or QUI8 type or QI8 type values |
tfl.relu_n1_to_1
(::mlir::TFL::Relu1Op)
Relu1 operator
Element-wise Relu1 operator x -> max(-1, min(1, x))
Traits: AlwaysSpeculatableImplTrait, QuantizableResult, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 32-bit float or QUI8 type or QI8 type values |
Results:
Result | Description |
---|---|
y | tensor of 32-bit float or QUI8 type or QI8 type values |
tfl.relu6
(::mlir::TFL::Relu6Op)
Relu6 operator
Element-wise Relu6 operator x -> max(0, min(6, x))
Traits: AlwaysSpeculatableImplTrait, QuantizableResult, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 32-bit float or QUI8 type or QI8 type values |
Results:
Result | Description |
---|---|
y | tensor of 32-bit float or QUI8 type or QI8 type values |
tfl.relu
(::mlir::TFL::ReluOp)
Relu operator
Element-wise Relu operator x -> max(0, x)
Traits: AlwaysSpeculatableImplTrait, QuantizableResult, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 32-bit float or QUI8 type or QI8 type or QI16 type values |
Results:
Result | Description |
---|---|
y | tensor of 32-bit float or QUI8 type or QI8 type or QI16 type values |
tfl.reshape
(::mlir::TFL::ReshapeOp)
Reshape operator
Produces a tensor with the same values but different static shape defined by the output type.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, InferTypeOpInterface, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of any type values |
shape | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of any type values |
tfl.resize_bilinear
(::mlir::TFL::ResizeBilinearOp)
ResizeBilinear Op
Resize images
to size
using bilinear interpolation.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
align_corners | ::mlir::BoolAttr | bool attribute |
half_pixel_centers | ::mlir::BoolAttr | bool attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or TFLite quint8 type or QUI8 type or QI8 type or QI16 type values |
size | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or TFLite quint8 type or QUI8 type or QI8 type or QI16 type values |
tfl.resize_nearest_neighbor
(::mlir::TFL::ResizeNearestNeighborOp)
ResizeNearestNeighbor Op
Resize images
to size
using nearest neighbor interpolation.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
align_corners | ::mlir::BoolAttr | bool attribute |
half_pixel_centers | ::mlir::BoolAttr | bool attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or TFLite quint8 type or QUI8 type or QI8 type or QI16 type values |
size | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or TFLite quint8 type or QUI8 type or QI8 type or QI16 type values |
tfl.reverse_sequence
(::mlir::TFL::ReverseSequenceOp)
Reverses variable length slices.
This op first slices input
along the dimension batch_dim
, and for each slice i
, reverses the first seq_lengths[i]
elements along the dimension seq_dim
.
The elements of seq_lengths
must obey seq_lengths[i] <= input.dims[seq_dim]
, and seq_lengths
must be a vector of length input.dims[batch_dim]
.
The output slice i
along dimension batch_dim
is then given by input slice i
, with the first seq_lengths[i]
slices along dimension seq_dim
reversed.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
seq_dim | ::mlir::IntegerAttr | 32-bit signless integer attribute whose value is non-negative |
batch_dim | ::mlir::IntegerAttr | 32-bit signless integer attribute whose value is non-negative |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI16 type or QUI8 type or TFLite quint8 type values |
seq_lengths | tensor of 32/64-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI16 type or QUI8 type or TFLite quint8 type values |
tfl.reverse_v2
(::mlir::TFL::ReverseV2Op)
ReverseV2 Operator
Reverses specific dimensions of a tensor.
Given a tensor, and a int32/int64 tensor axis representing the set of dimensions of tensor to reverse. This operation reverses each dimension i for which there exists j st axis[j] == i.
Args: tensor: A Tensor. Must be one of the following types: uint8, int8, int16, int32, int64, float32, bool Up to 8-D.
axis: A Tensor. Must be one of the following types: int32, int64. with only 1 element which is the axis index. TODO: Add support for multiple elements.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 8-bit unsigned integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or QI16 type or QUI8 type or QI8 type or TFLite quint8 type or 1-bit signless integer values |
axis | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 8-bit unsigned integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or QI16 type or QUI8 type or QI8 type or TFLite quint8 type or 1-bit signless integer values |
tfl.round
(::mlir::TFL::RoundOp)
Round operator
Rounds the values of a tensor to the nearest integer, element-wise.
Traits: AlwaysSpeculatableImplTrait, InferTensorType, TF::SameOperandsAndResultTypeResolveRef
Interfaces: ConditionallySpeculatable, InferShapedTypeOpInterface, InferTypeOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 32-bit float values |
Results:
Result | Description |
---|---|
y | tensor of 32-bit float values |
tfl.rsqrt
(::mlir::TFL::RsqrtOp)
Reciprocal of square root operator
Computes element-wise reverse square root of input
Traits: AlwaysSpeculatableImplTrait, QuantizableResult, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 32-bit float or QI8 type or QI16 type values |
Results:
Result | Description |
---|---|
y | tensor of 32-bit float or QI8 type or QI16 type values |
tfl.svdf
(::mlir::TFL::SVDFOp)
Single value decomposition filter operator
The SVDF op is a decomposition of a densely connected op into low rank filters. For details: https://research.google.com/pubs/pub43813.html https://arxiv.org/abs/1812.02802
Traits: QuantizableResult, quant::AccumulatorUniformScale<3, 2, 4>
Interfaces: DynamicRangeQuantizedOpInterface, TFL_StatefulOp, TflRuntimeVerifyOpInterface
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
rank | ::mlir::IntegerAttr | 32-bit signless integer attribute whose value is positive |
fused_activation_function | ::mlir::StringAttr | string attribute whose value is NONE, or RELU, or RELU_N1_TO_1, or RELU6, or TANH, or SIGN_BIT |
asymmetric_quantize_inputs | ::mlir::BoolAttr | bool attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or QI8 type values |
feature_weights | tensor of 32-bit float or QI8 type or QUI8 type values |
time_weights | tensor of 32-bit float or QI16 type values |
input_gate_bias | tensor of any type values or none type |
activation_state | stateful tensor |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or QI8 type values |
tfl.scatter_nd
(::mlir::TFL::ScatterNdOp)
Scatter_nd operator
Scatter updates
into a new tensor according to indices
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
indices | tensor of 32-bit signless integer values |
updates | tensor of 32-bit float or 8-bit signless integer or 64-bit signless integer or 32-bit signless integer or 8-bit unsigned integer or 1-bit signless integer values |
shape | 1D tensor of any type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 8-bit signless integer or 64-bit signless integer or 32-bit signless integer or 8-bit unsigned integer or 1-bit signless integer values |
tfl.segment_sum
(::mlir::TFL::SegmentSumOp)
SegmentSum operator
Computes the sum along segments of a tensor.
Traits: AlwaysSpeculatableImplTrait
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer values |
segment_ids | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer values |
tfl.select
(::mlir::TFL::SelectOp)
Select operator
Select values of 'x' if the corresponding value of 'condition' is true or the value of 'y' if false. There are valid condition input sizes:
- Either the same shape (in which case the select is elementwise), or
- condition must be Rank 1 and match over the first dimension.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
condition | tensor of 1-bit signless integer values |
x | tensor of 32-bit float or 1-bit signless integer or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or QI16 type or TFLite quint8 type values |
y | tensor of 32-bit float or 1-bit signless integer or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or QI16 type or TFLite quint8 type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 1-bit signless integer or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or QI16 type or TFLite quint8 type values |
tfl.select_v2
(::mlir::TFL::SelectV2Op)
SelectV2 operator
Select values of 'x' if the corresponding value of 'condition' is true or the value of 'y' if false. There are valid condition input sizes:
- Either the same shape (in which case the select is elementwise), or
- Broadcastable shapes between 'condition', 'x' and 'y'.
Traits: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, QuantizableResult, ResultsBroadcastableShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
condition | tensor of 1-bit signless integer values |
x | tensor of 32-bit float or 1-bit signless integer or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or QI16 type or TFLite quint8 type values |
y | tensor of 32-bit float or 1-bit signless integer or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or QI16 type or TFLite quint8 type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 1-bit signless integer or 8-bit signless integer or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or QI16 type or TFLite quint8 type values |
tfl.shape
(::mlir::TFL::ShapeOp)
Shape operator
Returns the shape of a tensor.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
out_type | ::mlir::Attribute | derived attribute |
Operands:
Operand | Description |
---|---|
input | tensor of any type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit signless integer or 64-bit signless integer values |
tfl.sign
(::mlir::TFL::SignOp)
Sign operation
Returns NaN if x is NaN, 0 if x is 0, -1 if x < 0 and 1 if x > 0.
Traits: AlwaysSpeculatableImplTrait, SameOperandsAndResultElementType, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 32-bit float or 64-bit float or 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 64-bit float or 32-bit signless integer values |
tfl.sin
(::mlir::TFL::SinOp)
Sine operator
Computes element-wise Sine of input
Traits: AlwaysSpeculatableImplTrait, InferTensorType, TF::SameOperandsAndResultTypeResolveRef
Interfaces: ConditionallySpeculatable, InferShapedTypeOpInterface, InferTypeOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 32-bit float values |
Results:
Result | Description |
---|---|
y | tensor of 32-bit float values |
tfl.slice
(::mlir::TFL::SliceOp)
Return a slice from 'input'.
The output tensor is a tensor with dimensions described by 'size' whose values are extracted from 'input' starting at the offsets in 'begin'.
begin
is zero-based; size
is one-based. If size[i] is -1, all remaining elements in dimension i are included in the slice. In other words, this is equivalent to setting: size[i] = input.dim_size(i) - begin[i]
Requirements : 0 <= begin[i] <= begin[i] + size[i] <= Di for i in [0, n)
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or 8-bit signless integer or 8-bit unsigned integer or 1-bit signless integer or TFLite string type or QI8 type or QUI8 type or TFLite quint8 type or QI16 type values |
begin | tensor of 32/64-bit signless integer values |
size | tensor of 32/64-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or 8-bit signless integer or 8-bit unsigned integer or 1-bit signless integer or TFLite string type or QI8 type or QUI8 type or TFLite quint8 type or QI16 type values |
tfl.softmax
(::mlir::TFL::SoftmaxOp)
Softmax operator
Computes element-wise softmax activations with the following formula
exp(input) / tf.reduce_sum(exp(input * beta), dim)
Traits: AlwaysSpeculatableImplTrait, QuantizableResult, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, FixedOutputRangeInterface, NoMemoryEffect (MemoryEffectOpInterface), TflArithmeticCountOpInterface, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
beta | ::mlir::FloatAttr | 32-bit float attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or QI8 type or QUI8 type or TFLite quint8 type or QI16 type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or QI8 type or QUI8 type or TFLite quint8 type or QI16 type values |
tfl.space_to_batch_nd
(::mlir::TFL::SpaceToBatchNdOp)
SpaceToBatchNd operator
This operation reshapes space dimensions into the "batch" dimension 0
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or TFLite quint8 type values |
block_shape | tensor of 32-bit signless integer values |
paddings | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or TFLite quint8 type values |
tfl.space_to_depth
(::mlir::TFL::SpaceToDepthOp)
SpaceToDepth operator
Rearranges blocks of spatial data, into depth. More specifically, this op outputs a copy of the input tensor where values from the height
and width
dimensions are moved to the depth
dimension. block_size
indicates the input block size.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
block_size | ::mlir::IntegerAttr | 32-bit signless integer attribute whose value is positive |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or TFLite quint8 type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or TFLite quint8 type values |
tfl.pseudo_sparse_const
(::mlir::TFL::SparseConstOp)
Sparse constant pseudo op.
Represents a sparse constant value in TensorFlow Lite dialect. This is not an actual operation and it will be lowered to buffer instead.
Traits: AlwaysSpeculatableImplTrait, FirstAttrDerivedResultType, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
value | ::mlir::ElementsAttr | constant vector/tensor attribute |
s_param | ::mlir::TFL::SparsityParameterAttr | Sparsity parameter. |
compressed_data | ::mlir::ElementsAttr | constant vector/tensor attribute |
Results:
Result | Description |
---|---|
output | tensor of any type values |
tfl.pseudo_sparse_qconst
(::mlir::TFL::SparseQConstOp)
Sparse quantized constant pseudo op
Represents a sparse quantized constant value in TensorFlow Lite dialect. This is not an actual operation and it will be lowered to buffer instead. The quantization parameters are stored as a type attribute in this constant.
Traits: AlwaysSpeculatableImplTrait, FirstAttrDerivedResultType
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
qtype | ::mlir::TypeAttr | Tensor type attribute |
value | ::mlir::ElementsAttr | constant vector/tensor attribute |
s_param | ::mlir::TFL::SparsityParameterAttr | Sparsity parameter. |
compressed_data | ::mlir::ElementsAttr | constant vector/tensor attribute |
Results:
Result | Description |
---|---|
output | tensor of QUI8 type or QI8 type or QI16 type or QUI16 type or TFLite quint8 type values |
tfl.sparse_to_dense
(::mlir::TFL::SparseToDenseOp)
Converts a sparse representation into a dense tensor.
Builds an array dense
with shape output_shape
such that
# If sparse_indices is scalar
dense[i] = (i == sparse_indices ? sparse_values : default_value)
# If sparse_indices is a vector, then for each i
dense[sparse_indices[i]] = sparse_values[i]
# If sparse_indices is an n by d matrix, then for each i in [0, n)
dense[sparse_indices[i][0], ..., sparse_indices[i][d-1]] = sparse_values[i]
All other values in dense
are set to default_value
. If sparse_values
is a scalar, all sparse indices are set to this single value.
Indices should be sorted in lexicographic order, and indices must not contain any repeats. If validate_indices
is true, these properties are checked during execution.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
sparse_indices | tensor of 32/64-bit signless integer values |
output_shape | tensor of 32/64-bit signless integer values |
sparse_values | tensor of 32-bit signless integer or 64-bit signless integer or 8-bit signless integer or QI8 type or 8-bit unsigned integer or QUI8 type or TFLite quint8 type or 32-bit float values |
default_value | tensor of 32-bit signless integer or 64-bit signless integer or 8-bit signless integer or QI8 type or 8-bit unsigned integer or QUI8 type or TFLite quint8 type or 32-bit float values |
Results:
Result | Description |
---|---|
dense | tensor of 32-bit signless integer or 64-bit signless integer or 8-bit signless integer or QI8 type or 8-bit unsigned integer or QUI8 type or TFLite quint8 type or 32-bit float values |
tfl.split
(::mlir::TFL::SplitOp)
Splits a tensor into num_split
tensors along one dimension.
Splits the value
tensor along split_dim
into a number of sub-tensors with same shape as the original one, except for split_dim
. Same as tf.Split.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
num_splits | ::mlir::IntegerAttr | 32-bit signless integer attribute whose value is positive |
Operands:
Operand | Description |
---|---|
split_dim | tensor of 32-bit signless integer values |
value | tensor of 32-bit float or 16-bit signless integer or 32-bit signless integer or 8-bit signless integer or 8-bit unsigned integer or QI8 type or QUI8 type or QI16 type values |
Results:
Result | Description |
---|---|
outputs | tensor of any type values |
tfl.split_v
(::mlir::TFL::SplitVOp)
Splits a tensor into num_split
tensors along one dimension.
Splits the value
tensor along split_dim
into a number of sub-tensors with same shape as the original one, except for split_dim
. The grouping of the resultant sub-tensors is decided by size-splits
. Same as tf.SplitV.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
num_splits | ::mlir::IntegerAttr | 32-bit signless integer attribute whose value is positive |
Operands:
Operand | Description |
---|---|
value | tensor of 32-bit float or 16-bit signless integer or 32-bit signless integer or 64-bit signless integer or 8-bit signless integer or 8-bit unsigned integer or QI8 type or QUI8 type or QI16 type values |
size_splits | 1D tensor of 32-bit signless integer values |
split_dim | 0D tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
outputs | tensor of any type values |
tfl.sqrt
(::mlir::TFL::SqrtOp)
Square root operator
Computes element-wise Square root of input
Traits: AlwaysSpeculatableImplTrait, InferTensorType, TF::SameOperandsAndResultTypeResolveRef
Interfaces: ConditionallySpeculatable, InferShapedTypeOpInterface, InferTypeOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 32-bit float values |
Results:
Result | Description |
---|---|
y | tensor of 32-bit float values |
tfl.square
(::mlir::TFL::SquareOp)
Square operator
Computes element-wise Square of input
Traits: AlwaysSpeculatableImplTrait, InferTensorType, TF::SameOperandsAndResultTypeResolveRef
Interfaces: ConditionallySpeculatable, InferShapedTypeOpInterface, InferTypeOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
x | tensor of 32-bit float values |
Results:
Result | Description |
---|---|
y | tensor of 32-bit float values |
tfl.squared_difference
(::mlir::TFL::SquaredDifferenceOp)
Squared difference operator
Element-wise squared difference operation.
Traits: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, QuantizableResult, ResultsBroadcastableShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
lhs | tensor of 32-bit float or 32-bit signless integer or QI8 type values |
rhs | tensor of 32-bit float or 32-bit signless integer or QI8 type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or QI8 type values |
tfl.squeeze
(::mlir::TFL::SqueezeOp)
Removes dimensions of size 1 from the shape of a tensor.
Given a tensor input
, this operation returns a tensor of the same type with all dimensions of size 1 removed. If you don't want to remove all size 1 dimensions, you can remove specific size 1 dimensions by specifying squeeze_dims
.
For example:
# 't' is a tensor of shape [1, 2, 1, 3, 1, 1]
shape(squeeze(t)) ==> [2, 3]
Or, to remove specific size 1 dimensions:
# 't' is a tensor of shape [1, 2, 1, 3, 1, 1]
shape(squeeze(t, [2, 4])) ==> [1, 2, 3, 1]
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
squeeze_dims | ::mlir::ArrayAttr | 64-bit integer array attribute whose size is at most 8 |
Operands:
Operand | Description |
---|---|
input | tensor of any type values |
Results:
Result | Description |
---|---|
output | tensor of any type values |
tfl.strided_slice
(::mlir::TFL::StridedSliceOp)
StridedSlice Op
Return a strided slice from input
.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
begin_mask | ::mlir::IntegerAttr | 32-bit signless integer attribute |
end_mask | ::mlir::IntegerAttr | 32-bit signless integer attribute |
ellipsis_mask | ::mlir::IntegerAttr | 32-bit signless integer attribute |
new_axis_mask | ::mlir::IntegerAttr | 32-bit signless integer attribute |
shrink_axis_mask | ::mlir::IntegerAttr | 32-bit signless integer attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or 8-bit signless integer or 8-bit unsigned integer or QI8 type or QUI8 type or 1-bit signless integer or 16-bit signless integer or QI16 type or TFLite quint8 type or TFLite string type values |
begin | tensor of 32-bit signless integer values |
end | tensor of 32-bit signless integer values |
strides | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or 8-bit signless integer or 8-bit unsigned integer or QI8 type or QUI8 type or 1-bit signless integer or 16-bit signless integer or QI16 type or TFLite quint8 type or TFLite string type values |
tfl.sub
(::mlir::TFL::SubOp)
Subtraction operator
Element-wise subtraction operation.
Traits: ::mlir::OpTrait::TFLRuntimeOpTrait, AlwaysSpeculatableImplTrait, QuantizableResult, ResultsBroadcastableShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflArithmeticCountOpInterface, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
fused_activation_function | ::mlir::StringAttr | string attribute whose value is NONE, or RELU, or RELU_N1_TO_1, or RELU6, or TANH, or SIGN_BIT |
Operands:
Operand | Description |
---|---|
lhs | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or QI16 type values |
rhs | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or QI16 type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or QI16 type values |
tfl.sum
(::mlir::TFL::SumOp)
Sum operator
Computes the sum reduction along the specified axes
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
keep_dims | ::mlir::BoolAttr | bool attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or TFLite quint8 type or QI16 type values |
axes | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer or 64-bit signless integer or QI8 type or QUI8 type or TFLite quint8 type or QI16 type values |
tfl.tanh
(::mlir::TFL::TanhOp)
Hyperbolic tangent operator
Computes element-wise Hyperbolic tangent of input
Traits: AlwaysSpeculatableImplTrait, QuantizableResult, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, FixedOutputRangeInterface, NoMemoryEffect (MemoryEffectOpInterface), TflArithmeticCountOpInterface, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or QI8 type or QUI8 type or QI16 type or TFLite quint8 type values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or QI8 type or QUI8 type or QI16 type or TFLite quint8 type values |
tfl.tile
(::mlir::TFL::TileOp)
Tile operator.
Constructs a tensor by tiling a given tensor.
This operation creates a new tensor by replicating input multiples times. The output tensor's i'th dimension has input.dims(i) * multiples[i] elements, and the values of input are replicated multiples[i] times along the 'i'th dimension. For example, tiling [abcd] by [2] produces [abcdabcd].
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 1-bit signless integer or 32-bit signless integer or 64-bit signless integer or 8-bit unsigned integer or QI8 type or QUI8 type or TFLite string type values |
multiples | tensor of 32/64-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 1-bit signless integer or 32-bit signless integer or 64-bit signless integer or 8-bit unsigned integer or QI8 type or QUI8 type or TFLite string type values |
tfl.topk_v2
(::mlir::TFL::TopKV2Op)
TopK operator
Returns the top k
largest element along each last dimensional slice of input
and the indices of values within the last dimension of the input tensor.
Results are always sorted in the descending order.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 8-bit signless integer or 32-bit signless integer or 64-bit signless integer or 8-bit unsigned integer or QI8 type or QUI8 type values |
k | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
values | tensor of 32-bit float or 8-bit signless integer or 32-bit signless integer or 64-bit signless integer or 8-bit unsigned integer or QI8 type or QUI8 type values |
indices | tensor of 32-bit signless integer values |
tfl.transpose_conv
(::mlir::TFL::TransposeConvOp)
Transpose convolution operator
Performs transpose convolution operation on input.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult, quant::AccumulatorUniformScale<3, 1, 2>, quant::AffineOpCoefficient<0, 1>
Interfaces: AffineQuantizedOpInterface, ConditionallySpeculatable, DynamicRangeQuantizedOpInterface, NoMemoryEffect (MemoryEffectOpInterface), TFL_SparseOp, TflArithmeticCountOpInterface, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
padding | ::mlir::StringAttr | string attribute whose value is SAME, or VALID |
stride_h | ::mlir::IntegerAttr | 32-bit signless integer attribute whose value is positive |
stride_w | ::mlir::IntegerAttr | 32-bit signless integer attribute whose value is positive |
fused_activation_function | ::mlir::StringAttr | string attribute whose value is NONE, or RELU, or RELU_N1_TO_1, or RELU6, or TANH, or SIGN_BIT |
Operands:
Operand | Description |
---|---|
output_shape | tensor of 32-bit signless integer values |
weights | tensor of 32-bit float or QI8 type or QUI8 type or QI16 type values |
input | tensor of 32-bit float or QI8 type or QUI8 type or QI16 type values |
bias | tensor of any type values or none type |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or QI8 type or QUI8 type or QI16 type values |
tfl.transpose
(::mlir::TFL::TransposeOp)
Transpose operator
Returns the Transpose of x
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit signless integer or 32-bit float or 8-bit signless integer or 8-bit unsigned integer or QI8 type or QUI8 type or TFLite quint8 type or 1-bit signless integer or 64-bit signless integer or QI16 type values |
perm | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit signless integer or 32-bit float or 8-bit signless integer or 8-bit unsigned integer or QI8 type or QUI8 type or TFLite quint8 type or 1-bit signless integer or 64-bit signless integer or QI16 type values |
tfl.unidirectional_sequence_lstm
(::mlir::TFL::UnidirectionalSequenceLSTMOp)
Unidirectional sequence lstm operator
A recurrent neural network specified by an LSTM cell. This Op supports unrolling the input along the time or batch dimensions, and implements the following operation for each element in the sequence s = 1...sequence_length: outputs[s] = state = activation(LSTMOp(inputs[s]))
where LSTMOp is LSTM TF Lite Op and the “activation” is the function passed as the “fused_activation_function” argument (if not “NONE”).
Traits: QuantizableResult
Interfaces: DynamicRangeQuantizedOpInterface, InferTypeOpInterface, TFL_StatefulOp, TflRuntimeVerifyOpInterface
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
fused_activation_function | ::mlir::StringAttr | string attribute whose value is NONE, or RELU, or RELU_N1_TO_1, or RELU6, or TANH, or SIGN_BIT |
cell_clip | ::mlir::FloatAttr | 32-bit float attribute whose value is non-negative |
proj_clip | ::mlir::FloatAttr | 32-bit float attribute whose value is non-negative |
time_major | ::mlir::BoolAttr | bool attribute |
asymmetric_quantize_inputs | ::mlir::BoolAttr | bool attribute |
diagonal_recurrent_tensors | ::mlir::BoolAttr | bool attribute |
input_to_input_intermediate | ::mlir::TypeAttr | any type attribute |
input_to_forget_intermediate | ::mlir::TypeAttr | any type attribute |
input_to_cell_intermediate | ::mlir::TypeAttr | any type attribute |
input_to_output_intermediate | ::mlir::TypeAttr | any type attribute |
effective_hidden_scale_intermediate | ::mlir::TypeAttr | any type attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float values |
input_to_input_weights | tensor of any type values or none type |
input_to_forget_weights | tensor of 32-bit float or QI8 type values |
input_to_cell_weights | tensor of 32-bit float or QI8 type values |
input_to_output_weights | tensor of 32-bit float or QI8 type values |
recurrent_to_input_weights | tensor of any type values or none type |
recurrent_to_forget_weights | tensor of 32-bit float or QI8 type values |
recurrent_to_cell_weights | tensor of 32-bit float or QI8 type values |
recurrent_to_output_weights | tensor of 32-bit float or QI8 type values |
cell_to_input_weights | tensor of any type values or none type |
cell_to_forget_weights | tensor of any type values or none type |
cell_to_output_weights | tensor of any type values or none type |
input_gate_bias | tensor of any type values or none type |
forget_gate_bias | tensor of 32-bit float values |
cell_bias | tensor of 32-bit float values |
output_gate_bias | tensor of 32-bit float values |
projection_weights | tensor of any type values or none type |
projection_bias | tensor of any type values or none type |
input_activation_state | stateful tensor |
input_cell_state | stateful tensor |
input_layer_norm_coefficients | tensor of any type values or none type |
forget_layer_norm_coefficients | tensor of any type values or none type |
cell_layer_norm_coefficients | tensor of any type values or none type |
output_layer_norm_coefficients | tensor of any type values or none type |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or QI8 type values |
tfl.unidirectional_sequence_rnn
(::mlir::TFL::UnidirectionalSequenceRNNOp)
Unidirectional sequence rnn operator
A recurrent neural network specified by an RNN cell. This Op takes in input in a format {batch_size, seq_len, input_size} or {seq_len, batch_size, input_size} if it's time-majored.
It implements the following operation for each element in the sequence s = 1...sequence_length: outputs[s] = state = activation(RNNOp(inputs[s]))
where RNNOp is RNNOp TF Lite Op and the “activation” is the function passed as the “fused_activation_function” argument (if not “NONE”).
Traits: QuantizableResult
Interfaces: DynamicRangeQuantizedOpInterface, TFL_StatefulOp, TflRuntimeVerifyOpInterface
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
time_major | ::mlir::BoolAttr | bool attribute |
fused_activation_function | ::mlir::StringAttr | string attribute whose value is NONE, or RELU, or RELU_N1_TO_1, or RELU6, or TANH, or SIGN_BIT |
asymmetric_quantize_inputs | ::mlir::BoolAttr | bool attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float values |
input_to_input_weights | tensor of 32-bit float or QI8 type values |
recurrent_to_input_weights | tensor of 32-bit float or QI8 type values |
input_gate_bias | tensor of 32-bit float values |
hidden_state | stateful tensor |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float values |
tfl.unique
(::mlir::TFL::UniqueOp)
Unique Op.
This operation returns a tensor output
containing all of the unique elements of input
sorted in the same order that they occur in input
. This operation also returns a tensor idx
the same size as x
that contains the index of each value of input
in the unique output output
. In other words:
Traits: AlwaysSpeculatableImplTrait, QuantizableResult
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
idx_out_type | ::mlir::Attribute | derived attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 8-bit signless integer or QI8 type or 8-bit unsigned integer or QUI8 type or 16-bit signless integer or QI16 type or 32-bit signless integer or 64-bit signless integer or 32-bit float values |
Results:
Result | Description |
---|---|
output | tensor of 8-bit signless integer or QI8 type or 8-bit unsigned integer or QUI8 type or 16-bit signless integer or QI16 type or 32-bit signless integer or 64-bit signless integer or 32-bit float values |
idx | tensor of 32/64-bit signless integer values |
tfl.unpack
(::mlir::TFL::UnpackOp)
Unpacks a tensor along a dimension into multiple tensors
Unpacks a given dimension of a rank- R
tensor into num
rank- (R-1)
tensors.
Unpacks num
tensors from value
by chipping it along the axis
dimension. For example, given a tensor of shape (A, B, C, D)
;
If axis == 0
then the i'th tensor in output
is the slice value[i, :, :, :]
and each tensor in output
will have shape (B, C, D)
. (Note that the dimension unpacked along is gone, unlike split
).
If axis == 1
then the i'th tensor in output
is the slice value[:, i, :, :]
and each tensor in output
will have shape (A, C, D)
. Etc.
This is the opposite of pack
.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult, SameOperandsAndResultElementType
Interfaces: ConditionallySpeculatable, InferTypeOpInterface, NoMemoryEffect (MemoryEffectOpInterface), SameOperandsAndResultsScale, TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
num | ::mlir::IntegerAttr | 32-bit signless integer attribute whose value is non-negative |
axis | ::mlir::IntegerAttr | 32-bit signless integer attribute |
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 1-bit signless integer or 8-bit signless integer or 8-bit unsigned integer or 32-bit signless integer or QI8 type or QUI8 type or 16-bit signless integer or QI16 type values |
Results:
Result | Description |
---|---|
outputs | tensor of any type values |
tfl.unsorted_segment_max
(::mlir::TFL::UnsortedSegmentMaxOp)
UnsortedSegmentMax operator
Computes the maximum value along segments of a tensor such that output[i] = max(data[j....]) where segment_ids[j...] = i if the maximum is empty for a given segment ID i, it outputs the smallest possible value for the specific numeric type, output[i] = numeric_limits::lowest(). Note the values of segment_ids are always validated to be less than num_segments and an error is thrown for out-of-bound indices.
Traits: AlwaysSpeculatableImplTrait
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer values |
segment_ids | tensor of 32-bit signless integer values |
num_segments | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer values |
tfl.unsorted_segment_min
(::mlir::TFL::UnsortedSegmentMinOp)
UnsortedSegmentMin operator
Computes the minimum value along segments of a tensor such that output[i] = min(data[j....]) where segment_ids[j...] = i if the minimum is empty for a given segment ID i, it outputs the largest possible value for the specific numeric type, output[i] = numeric_limits::max(). Note the values of segment_ids are always validated to be less than num_segments and an error is thrown for out-of-bound indices.
Traits: AlwaysSpeculatableImplTrait
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer values |
segment_ids | tensor of 32-bit signless integer values |
num_segments | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer values |
tfl.unsorted_segment_prod
(::mlir::TFL::UnsortedSegmentProdOp)
UnsortedSegmentProd operator
Computes the product along segments of a tensor.
Traits: AlwaysSpeculatableImplTrait
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer values |
segment_ids | tensor of 32-bit signless integer values |
num_segments | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer values |
tfl.unsorted_segment_sum
(::mlir::TFL::UnsortedSegmentSumOp)
UnsortedSegmentSum operator
From a tensor segmentation, computes the output
resulting from summing together elements mapped to the same segment_id. Ie output[i]
is equal to the tensor sum of all elements from the input tensor mapped to segment_id i
. If no tensors are mapped to a particular included segment_id, the output at that indice will be a zero tensor with the appropriate shape. Note the values of segment_ids are always validated to be less than num_segments and an error is thrown for out-of-bound indices
Traits: AlwaysSpeculatableImplTrait
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 32-bit float or 32-bit signless integer values |
segment_ids | tensor of 32-bit signless integer values |
num_segments | tensor of 32-bit signless integer values |
Results:
Result | Description |
---|---|
output | tensor of 32-bit float or 32-bit signless integer values |
tfl.var_handle
(::mlir::TFL::VarHandleOp)
Returns a handle to a variable resource from its name.
Returns a handle for a variable resource from its name. container: the container this variable is placed in. shared_name: the name by which this variable is referred to.
Interfaces: TflRuntimeVerifyOpInterface
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
container | ::mlir::StringAttr | string attribute |
shared_name | ::mlir::StringAttr | string attribute |
Results:
Result | Description |
---|---|
resource_handle | tensor of resource values |
tfl.where
(::mlir::TFL::WhereOp)
Returns locations of nonzero / true values in a tensor.
This operation returns the coordinates of true elements in condition
. The coordinates are returned in a 2-D tensor where the first dimension (rows) represents the number of true elements, and the second dimension (columns) represents the coordinates of the true elements. Keep in mind, the shape of the output tensor can vary depending on how many true values there are in condition
. Indices are output in row-major order.
Traits: AlwaysSpeculatableImplTrait
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
condition | tensor of 1-bit signless integer or 32-bit float or 32/64-bit signless integer or 8-bit signless integer or 8-bit unsigned integer or 32-bit unsigned integer values |
Results:
Result | Description |
---|---|
index | tensor of 64-bit signless integer values |
tfl.while
(::mlir::TFL::WhileOp)
While loop
output = input; while (cond(output)) { output = body(output) }
While loop where all values are passes through arguments with implicit capture.
input: A list of input tensors whose types are T. output: A list of output tensors whose types are T. cond: A region that takes 'input' and returns a boolean scalar tensor. body: A region that takes a list of tensors and returns another list of tensors. Both lists have the same types.
Traits: SingleBlockImplicitTerminator
Interfaces: LoopLikeOpInterface, TflRuntimeVerifyOpInterface
Attributes:
Attribute | MLIR Type | Description |
---|---|---|
is_stateless | ::mlir::BoolAttr | bool attribute |
Operands:
Operand | Description |
---|---|
input | tensor of any type values |
Results:
Result | Description |
---|---|
output | tensor of any type values |
tfl.yield
(::mlir::TFL::YieldOp)
Yield operation
The "yield" operation represents a return operation within the conditional and body of structured control flow (eg, while), and a terminator for ControlNodeOp. The operation takes a variable number of operands and produces no results. The operand number and types must match the signature of the region that contains the operation.
Traits: AlwaysSpeculatableImplTrait, QuantizableResult, Terminator
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
«unnamed» | any type |
tfl.zeros_like
(::mlir::TFL::ZerosLikeOp)
ZerosLike operator
Returns a tensor of zeros with the same shape and type as the input tensor.
Traits: AlwaysSpeculatableImplTrait, SameOperandsAndResultShape
Interfaces: ConditionallySpeculatable, NoMemoryEffect (MemoryEffectOpInterface), TflRuntimeVerifyOpInterface
Effects: MemoryEffects::Effect{}
Operands:
Operand | Description |
---|---|
input | tensor of 64-bit signless integer or 32-bit signless integer or 32-bit float values |
Results:
Result | Description |
---|---|
output | tensor of 64-bit signless integer or 32-bit signless integer or 32-bit float values |
Attribute definition
DimensionMetadataAttr
Dimension metadata.
Syntax:
#tfl.dimension_metadata<
::mlir::TFL::DimensionTypeAttr, # format
int32_t, # dense_size
::llvm::ArrayRef<int32_t>, # segments
::llvm::ArrayRef<int32_t> # indices
>
Parameters:
Parameter | C++ type | Description |
---|---|---|
format | ::mlir::TFL::DimensionTypeAttr | dimension_type |
dense_size | int32_t | |
segments | ::llvm::ArrayRef<int32_t> | |
indices | ::llvm::ArrayRef<int32_t> |
SparsityParameterAttr
Sparsity parameter.
Syntax:
#tfl.sparsity_parameter<
::llvm::ArrayRef<int32_t>, # traversal_order
::llvm::ArrayRef<int32_t>, # block_map
::llvm::ArrayRef<DimensionMetadataAttr> # dim_metadata
>
Parameters:
Parameter | C++ type | Description |
---|---|---|
traversal_order | ::llvm::ArrayRef<int32_t> | |
block_map | ::llvm::ArrayRef<int32_t> | |
dim_metadata | ::llvm::ArrayRef<DimensionMetadataAttr> |
ConstBytesAttr
A string attribute representation of compiled bytes
Syntax Examples:
#tfl<const_bytes : "0xDEADBEEF">
Parameters:
Parameter | C++ type | Description |
---|---|---|
value | ::llvm::StringRef |
DimensionTypeAttr
dimension_type
Syntax:
#tfl.dimension_type_attr<
::mlir::TFL::DimensionType # value
>
Parameters:
Parameter | C++ type | Description |
---|---|---|
value | ::mlir::TFL::DimensionType | an enum of type DimensionType |
LSTMKernelTypeAttr
lstm_kernel_type
Syntax:
#tfl.lstm_kernel_type_attr<
::mlir::TFL::LSTMKernelType # value
>
Parameters:
Parameter | C++ type | Description |
---|---|---|
value | ::mlir::TFL::LSTMKernelType | an enum of type LSTMKernelType |
MirrorPaddingTypeAttr
mirror_pad_enum
Syntax:
#tfl.mirror_pad_attr<
::mlir::TFL::MirrorPaddingType # value
>
Parameters:
Parameter | C++ type | Description |
---|---|---|
value | ::mlir::TFL::MirrorPaddingType | an enum of type MirrorPaddingType |