Tham dự Hội nghị chuyên đề Women in ML vào ngày 7 tháng 12 Đăng ký ngay

ObjectDetector

Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.
công thức lớp ObjectDetector

Thực hiện phát hiện đối tượng trên hình ảnh.

API hy vọng một mô hình TFLite với TFLite Mẫu Metadata. .

API hỗ trợ các mô hình với một bộ căng đầu vào hình ảnh và bốn bộ căng đầu ra. Để cụ thể hơn, đây là các yêu cầu.

  • Input image tensor ( kTfLiteUInt8 / kTfLiteFloat32 )
    • hình ảnh đầu vào kích thước [batch x height x width x channels] .
    • đợt suy luận không được hỗ trợ ( batch phải là 1).
    • chỉ có đầu vào RGB được hỗ trợ ( channels được yêu cầu phải có 3).
    • nếu loại là kTfLiteFloat32 , NormalizationOptions được yêu cầu phải được gắn liền với siêu dữ liệu cho bình thường hóa đầu vào.
  • Tensors đầu ra phải được 4 kết quả đầu ra của một DetectionPostProcess op, ví dụ:
    • Location tensor ( kTfLiteFloat32 ):
      • tensor kích thước [1 x num_results x 4] , mảng bên trong đại diện cho hộp bounding dưới dạng [hàng đầu, trái, phải, dưới].
      • BoundingBoxProperties được yêu cầu phải được gắn liền với các siêu dữ liệu và phải xác định type=BOUNDARIEScoordinate_type=RATIO .
    • Lớp học tensor ( kTfLiteFloat32 ):
      • tensor kích thước [1 x num_results] , mỗi giá trị đại diện cho các chỉ số nguyên của một lớp.
      • nếu bản đồ nhãn được gắn vào các siêu dữ liệu như TENSOR_VALUE_LABELS liên quan đến tác phẩm, chúng được sử dụng để chuyển đổi các giá trị tensor vào nhãn.
    • điểm tensor ( kTfLiteFloat32 ):
      • tensor kích thước [1 x num_results] , mỗi giá trị đại diện cho số điểm của đối tượng phát hiện.
    • Số phát hiện tensor ( kTfLiteFloat32 ):
      • NUM_RESULTS số nguyên như một tensor kích thước [1] .

Một ví dụ về mô hình như vậy có thể được tìm thấy trên TensorFlow Hub. .

Lớp học lồng nhau

lớp ObjectDetector.ObjectDetectorOptions Các tùy chọn để thiết lập ObjectDetector.

Phương thức công khai

tĩnh ObjectDetector
createFromBuffer ( ByteBuffer modelBuffer)
Tạo một ObjectDetector dụ với một bộ đệm mô hình và mặc định ObjectDetector.ObjectDetectorOptions .
tĩnh ObjectDetector
createFromBufferAndOptions ( ByteBuffer modelBuffer, ObjectDetector.ObjectDetectorOptions tùy chọn)
Tạo một ObjectDetector dụ với một bộ đệm mô hình và ObjectDetector.ObjectDetectorOptions .
tĩnh ObjectDetector
createFromFile (Context bối cảnh, Chuỗi modelPath)
Tạo một ObjectDetector dụ từ mặc định ObjectDetector.ObjectDetectorOptions .
tĩnh ObjectDetector
createFromFile ( file modelFile)
Tạo một ObjectDetector dụ từ mặc định ObjectDetector.ObjectDetectorOptions .
tĩnh ObjectDetector
tĩnh ObjectDetector
Danh sách < Detection >
phát hiện ( MlImage hình ảnh)
Thực hiện phát hiện thực tế trên quy MlImage .
Danh sách < Detection >
phát hiện ( TensorImage hình ảnh, ImageProcessingOptions tùy chọn)
Thực hiện phát hiện thực tế trên hình ảnh được cung cấp.
Danh sách < Detection >
phát hiện ( MlImage hình ảnh, ImageProcessingOptions tùy chọn)
Thực hiện phát hiện thực tế trên quy MlImage với ImageProcessingOptions .
Danh sách < Detection >
phát hiện ( TensorImage hình ảnh)
Thực hiện phát hiện thực tế trên hình ảnh được cung cấp.

Phương thức kế thừa

Phương thức công khai

public static ObjectDetector createFromBuffer ( ByteBuffer modelBuffer)

Tạo một ObjectDetector dụ với một bộ đệm mô hình và mặc định ObjectDetector.ObjectDetectorOptions .

Thông số
modelBuffer một trực tiếp ByteBuffer hoặc MappedByteBuffer của mô hình phát hiện
Ném
Ngoại lệ Đối số bất hợp pháp nếu bộ đệm mô hình không phải là một trực tiếp ByteBuffer hoặc MappedByteBuffer * @throws IllegalStateException nếu có một lỗi nội bộ
RuntimeException nếu có một lỗi không xác định khác

public static ObjectDetector createFromBufferAndOptions ( ByteBuffer modelBuffer, ObjectDetector.ObjectDetectorOptions tùy chọn)

Tạo một ObjectDetector dụ với một bộ đệm mô hình và ObjectDetector.ObjectDetectorOptions .

Thông số
modelBuffer một trực tiếp ByteBuffer hoặc MappedByteBuffer của mô hình phát hiện
tùy chọn
Ném
Ngoại lệ Đối số bất hợp pháp nếu bộ đệm mô hình không phải là một trực tiếp ByteBuffer hoặc MappedByteBuffer
Ngoại lệ nhà nước bất hợp pháp nếu có lỗi nội bộ
RuntimeException nếu có một lỗi không xác định khác

public static ObjectDetector createFromFile (Context bối cảnh, Chuỗi modelPath)

Tạo một ObjectDetector dụ từ mặc định ObjectDetector.ObjectDetectorOptions .

Thông số
định nghĩa bài văn
modelPath đường dẫn đến mô hình phát hiện với siêu dữ liệu trong nội dung
Ném
IOException nếu lỗi I / O xảy ra khi tải mô hình tflite
Ngoại lệ Đối số bất hợp pháp nếu một đối số không hợp lệ
Ngoại lệ nhà nước bất hợp pháp nếu có lỗi nội bộ
RuntimeException nếu có một lỗi không xác định khác

public static ObjectDetector createFromFile ( file modelFile)

Tạo một ObjectDetector dụ từ mặc định ObjectDetector.ObjectDetectorOptions .

Thông số
modelFile việc phát hiện mô hình File ví dụ
Ném
IOException nếu lỗi I / O xảy ra khi tải mô hình tflite
Ngoại lệ Đối số bất hợp pháp nếu một đối số không hợp lệ
Ngoại lệ nhà nước bất hợp pháp nếu có lỗi nội bộ
RuntimeException nếu có một lỗi không xác định khác

public static ObjectDetector createFromFileAndOptions (bối cảnh Bối cảnh, Chuỗi modelPath, ObjectDetector.ObjectDetectorOptions tùy chọn)

Thông số
định nghĩa bài văn
modelPath đường dẫn đến mô hình phát hiện với siêu dữ liệu trong nội dung
tùy chọn
Ném
IOException nếu lỗi I / O xảy ra khi tải mô hình tflite
Ngoại lệ Đối số bất hợp pháp nếu một đối số không hợp lệ
Ngoại lệ nhà nước bất hợp pháp nếu có lỗi nội bộ
RuntimeException nếu có một lỗi không xác định khác

public static ObjectDetector createFromFileAndOptions ( file modelFile, ObjectDetector.ObjectDetectorOptions tùy chọn)

Thông số
modelFile việc phát hiện mô hình File ví dụ
tùy chọn
Ném
IOException nếu lỗi I / O xảy ra khi tải mô hình tflite
Ngoại lệ Đối số bất hợp pháp nếu một đối số không hợp lệ
Ngoại lệ nhà nước bất hợp pháp nếu có lỗi nội bộ
RuntimeException nếu có một lỗi không xác định khác

công cộng Danh sách < Detection > phát hiện ( MlImage hình ảnh)

Thực hiện phát hiện thực tế trên quy MlImage .

Thông số
hình ảnh một MlImage đối tượng đại diện cho một hình ảnh
Ném
Ngoại lệ nhà nước bất hợp pháp nếu có lỗi nội bộ
RuntimeException nếu có một lỗi không xác định khác
Ngoại lệ Đối số bất hợp pháp nếu loại lưu trữ hoặc định dạng của hình ảnh không được hỗ trợ

công cộng Danh sách < Detection > phát hiện ( TensorImage hình ảnh, ImageProcessingOptions tùy chọn)

Thực hiện phát hiện thực tế trên hình ảnh được cung cấp.

ObjectDetector hỗ trợ như sau TensorImage loại không gian màu:

ObjectDetector hỗ trợ các tùy chọn sau:

Thông số
hình ảnh một uint8 TensorImage đối tượng đại diện cho một hình ảnh RGB hoặc YUV
tùy chọn các tùy chọn để định cấu hình cách xử lý trước hình ảnh
Ném
Ngoại lệ nhà nước bất hợp pháp nếu có lỗi nội bộ
RuntimeException nếu có một lỗi không xác định khác
Ngoại lệ Đối số bất hợp pháp nếu loại không gian màu của hình ảnh không được hỗ trợ

công cộng Danh sách < Detection > phát hiện ( MlImage hình ảnh, ImageProcessingOptions tùy chọn)

Thực hiện phát hiện thực tế trên quy MlImage với ImageProcessingOptions .

ObjectDetector hỗ trợ các tùy chọn sau:

Thông số
hình ảnh một MlImage đối tượng đại diện cho một hình ảnh
tùy chọn các tùy chọn để định cấu hình cách xử lý trước hình ảnh
Ném
Ngoại lệ nhà nước bất hợp pháp nếu có lỗi nội bộ
RuntimeException nếu có một lỗi không xác định khác
Ngoại lệ Đối số bất hợp pháp nếu loại lưu trữ hoặc định dạng của hình ảnh không được hỗ trợ

công cộng Danh sách < Detection > phát hiện ( TensorImage hình ảnh)

Thực hiện phát hiện thực tế trên hình ảnh được cung cấp.

ObjectDetector hỗ trợ như sau TensorImage loại không gian màu:

Thông số
hình ảnh một uint8 TensorImage đối tượng đại diện cho một hình ảnh RGB hoặc YUV
Ném
Ngoại lệ nhà nước bất hợp pháp nếu có lỗi nội bộ
RuntimeException nếu có một lỗi không xác định khác
Ngoại lệ Đối số bất hợp pháp nếu loại không gian màu của hình ảnh không được hỗ trợ