Ayuda a proteger la Gran Barrera de Coral con TensorFlow en Kaggle Únete Challenge

Personalización de la decodificación de funciones

El tfds.decode API le permite anular la decodificación función predeterminada. El caso de uso principal es omitir la decodificación de imágenes para un mejor rendimiento.

Ejemplos de uso

Omitir la decodificación de imágenes

Para mantener un control total sobre la canalización de decodificación, o para aplicar un filtro antes de que se decodifiquen las imágenes (para un mejor rendimiento), puede omitir la decodificación de imágenes por completo. Esto funciona tanto con tfds.features.Image y tfds.features.Video .

ds = tfds.load('imagenet2012', split='train', decoders={
    'image': tfds.decode.SkipDecoding(),
})

for example in ds.take(1):
  assert example['image'].dtype == tf.string  # Images are not decoded

Filtrar / mezclar el conjunto de datos antes de decodificar las imágenes

Al igual que en el ejemplo anterior, puede utilizar tfds.decode.SkipDecoding() para insertar adicional tf.data personalización de tuberías antes de decodificar la imagen. De esa forma, las imágenes filtradas no se decodificarán y podrá utilizar un búfer de reproducción aleatoria más grande.

# Load the base dataset without decoding
ds, ds_info = tfds.load(
    'imagenet2012',
    split='train',
    decoders={
        'image': tfds.decode.SkipDecoding(),  # Image won't be decoded here
    },
    as_supervised=True,
    with_info=True,
)
# Apply filter and shuffle
ds = ds.filter(lambda image, label: label != 10)
ds = ds.shuffle(10000)
# Then decode with ds_info.features['image']
ds = ds.map(
    lambda image, label: ds_info.features['image'].decode_example(image), label)

Recortar y decodificar al mismo tiempo

Para reemplazar el valor predeterminado tf.io.decode_image operación, puede crear un nuevo tfds.decode.Decoder objeto mediante el tfds.decode.make_decoder() decorador.

@tfds.decode.make_decoder()
def decode_example(serialized_image, feature):
  crop_y, crop_x, crop_height, crop_width = 10, 10, 64, 64
  return tf.image.decode_and_crop_jpeg(
      serialized_image,
      [crop_y, crop_x, crop_height, crop_width],
      channels=feature.feature.shape[-1],
  )

ds = tfds.load('imagenet2012', split='train', decoders={
    # With video, decoders are applied to individual frames
    'image': decode_example(),
})

Que es equivalente a:

def decode_example(serialized_image, feature):
  crop_y, crop_x, crop_height, crop_width = 10, 10, 64, 64
  return tf.image.decode_and_crop_jpeg(
      serialized_image,
      [crop_y, crop_x, crop_height, crop_width],
      channels=feature.shape[-1],
  )

ds, ds_info = tfds.load(
    'imagenet2012',
    split='train',
    with_info=True,
    decoders={
        'image': tfds.decode.SkipDecoding(),  # Skip frame decoding
    },
)
ds = ds.map(functools.partial(decode_example, feature=ds_info.features['image']))

Personalización de la decodificación de video

De vídeo son Sequence(Image()) . Al aplicar decodificadores personalizados, se aplicarán a fotogramas individuales. Esto significa que los decodificadores de imágenes son automáticamente compatibles con el video.

@tfds.decode.make_decoder()
def decode_example(serialized_image, feature):
  crop_y, crop_x, crop_height, crop_width = 10, 10, 64, 64
  return tf.image.decode_and_crop_jpeg(
      serialized_image,
      [crop_y, crop_x, crop_height, crop_width],
      channels=feature.feature.shape[-1],
  )

ds = tfds.load('ucf101', split='train', decoders={
    # With video, decoders are applied to individual frames
    'video': decode_example(),
})

Que es equivalente a:

def decode_frame(serialized_image):
  """Decodes a single frame."""
  crop_y, crop_x, crop_height, crop_width = 10, 10, 64, 64
  return tf.image.decode_and_crop_jpeg(
      serialized_image,
      [crop_y, crop_x, crop_height, crop_width],
      channels=ds_info.features['video'].shape[-1],
  )


def decode_video(example):
  """Decodes all individual frames of the video."""
  video = example['video']
  video = tf.map_fn(
      decode_frame,
      video,
      dtype=ds_info.features['video'].dtype,
      parallel_iterations=10,
  )
  example['video'] = video
  return example


ds, ds_info = tfds.load('ucf101', split='train', with_info=True, decoders={
    'video': tfds.decode.SkipDecoding(),  # Skip frame decoding
})
ds = ds.map(decode_video)  # Decode the video

Solo decodifica un subconjunto de funciones.

También es posible omitir por completo algunas funciones especificando solo las funciones que necesita. Todas las demás funciones se ignorarán / omitirán.

builder = tfds.builder('my_dataset')
builder.as_dataset(split='train', decoders=tfds.decode.PartialDecoding({
    'image': True,
    'metadata': {'num_objects', 'scene_name'},
    'objects': {'label'},
})

TFDS seleccionará el subconjunto de builder.info.features que cumplan el criterio dado tfds.decode.PartialDecoding estructura.

En el código anterior, la destacada se extraen implícitamente para que coincida con builder.info.features . También es posible definir explícitamente las características. El código anterior es equivalente a:

builder = tfds.builder('my_dataset')
builder.as_dataset(split='train', decoders=tfds.decode.PartialDecoding({
    'image': tfds.features.Image(),
    'metadata': {
        'num_objects': tf.int64,
        'scene_name': tfds.features.Text(),
    },
    'objects': tfds.features.Sequence({
        'label': tfds.features.ClassLabel(names=[]),
    }),
})

Los metadatos originales (nombres de etiquetas, forma de la imagen, ...) se reutilizan automáticamente, por lo que no es necesario proporcionarlos.

tfds.decode.SkipDecoding se puede pasar a tfds.decode.PartialDecoding , a través de la PartialDecoding(..., decoders={}) kwargs.