¡El Día de la Comunidad de ML es el 9 de noviembre! Únase a nosotros para recibir actualizaciones de TensorFlow, JAX, y más Más información

Integrar segmentadores de imágenes

Los segmentadores de imágenes predicen si cada píxel de una imagen está asociado con una determinada clase. Esto contrasta con la detección de objetos , que detecta objetos en regiones rectangulares, y la clasificación de imágenes , que clasifica la imagen general. Consulte la introducción de la segmentación de imágenes para obtener más información sobre los segmentadores de imágenes.

Utilice la API del segmentador de imágenes de la biblioteca de ImageSegmenter para implementar sus segmentadores de imágenes personalizados o los ya entrenados en sus aplicaciones móviles.

Funciones clave de la API ImageSegmenter

  • Procesamiento de imágenes de entrada, incluida la rotación, el cambio de tamaño y la conversión del espacio de color.

  • Etiquetar la configuración regional del mapa.

  • Dos tipos de salida, máscara de categoría y máscaras de confianza.

  • Etiqueta de color para fines de exhibición.

Modelos de segmentadores de imágenes compatibles

Se garantiza que los siguientes modelos son compatibles con la API ImageSegmenter .

Ejecutar inferencia en Java

Consulte la aplicación de referencia Image Segmentation para ver un ejemplo de cómo utilizar ImageSegmenter en una aplicación de Android.

Paso 1: importar la dependencia de Gradle y otras configuraciones

Copie el archivo de modelo .tflite en el directorio de activos del módulo de Android donde se ejecutará el modelo. Especifica que el archivo no debe comprimirse y agrega la biblioteca TensorFlow Lite al archivo build.gradle del módulo:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-vision:0.2.0'
}

Paso 2: usar el modelo

// Initialization
ImageSegmenterOptions options = ImageSegmenterOptions.builder().setOutputType(OutputType.CONFIDENCE_MASK).build();
ImageSegmenter imageSegmenter = ImageSegmenter.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Segmentation> results = imageSegmenter.segment(image);

Consulte el código fuente y javadoc para obtener más opciones para configurar ImageSegmenter .

Ejecutar inferencia en C ++

// Initialization
ImageSegmenterOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_file);
std::unique_ptr<ImageSegmenter> image_segmenter = ImageSegmenter::CreateFromOptions(options).value();

// Run inference
const SegmentationResult result = image_segmenter->Segment(*frame_buffer).value();

Consulte el código fuente para obtener más opciones para configurar ImageSegmenter .

Resultados de ejemplo

Aquí hay un ejemplo de los resultados de segmentación de deeplab_v3 , un modelo de segmentación genérico disponible en TensorFlow Hub.

avión

Color Legend:
 (r: 000, g: 000, b: 000):
  index       : 0
  class name  : background
 (r: 128, g: 000, b: 000):
  index       : 1
  class name  : aeroplane

# (omitting multiple lines for conciseness) ...

 (r: 128, g: 192, b: 000):
  index       : 19
  class name  : train
 (r: 000, g: 064, b: 128):
  index       : 20
  class name  : tv
Tip: use a color picker on the output PNG file to inspect the output mask with
this legend.

La máscara de categoría de segmentación debería verse así:

segmentación-salida

Pruebe la sencilla herramienta de demostración CLI para ImageSegmenter con su propio modelo y datos de prueba.

Requisitos de compatibilidad del modelo

La API ImageSegmenter espera un modelo TFLite con metadatos del modelo TFLite obligatorios. Consulta ejemplos de creación de metadatos para segmentadores de imágenes con la API de escritura de metadatos de TensorFlow Lite .

  • Tensor de imagen de entrada (kTfLiteUInt8 / kTfLiteFloat32)

    • entrada de imagen de tamaño [batch x height x width x channels] .
    • No se admite la inferencia por lotes (el batch debe ser 1).
    • solo se admiten entradas RGB (los channels deben ser 3).
    • si el tipo es kTfLiteFloat32, se requiere que NormalizationOptions se adjunte a los metadatos para la normalización de entrada.
  • Tensor de máscaras de salida: (kTfLiteUInt8 / kTfLiteFloat32)

    • tensor de tamaño [batch x mask_height x mask_width x num_classes] , donde se requiere que el batch sea ​​1, mask_width y mask_height son las dimensiones de las máscaras de segmentación producidas por el modelo y num_classes es el número de clases admitidas por el modelo.

    • Los mapas de etiquetas opcionales (pero recomendados) se pueden adjuntar como AssociatedFile-s con el tipo TENSOR_AXIS_LABELS, que contienen una etiqueta por línea. El primer AssociatedFile (si lo hay) se utiliza para completar el campo de label (denominado class_name en C ++) de los resultados. El display_name campo se rellena desde el AssociatedFile (si lo hay) cuya configuración regional coincide con el display_names_locale campo de los ImageSegmenterOptions utilizados durante la creación ( "en" por defecto, es decir, Inglés). Si ninguno de estos está disponible, solo se completará el campo de index de los resultados.