Ayuda a proteger la Gran Barrera de Coral con TensorFlow en Kaggle Únete Challenge

Firmas comunes para texto

Esta página describe las firmas comunes que deben ser implementadas por los módulos en el formato de TF1 Hub para tareas que aceptan entradas de texto. (Para el formato de TF2 SavedModel , ver el análoga API SavedModel ).

Vector de características de texto

Un módulo de función de texto vector crea una representación vectorial densa de las características del texto. Se acepta un lote de cuerdas de forma [batch_size] y los asigna a un float32 tensor de la forma [batch_size, N] . Esto es a menudo llamado texto incrustar en dimensión N .

Uso básico

  embed = hub.Module("path/to/module")
  representations = embed([
      "A long sentence.",
      "single-word",
      "http://example.com"])

Uso de la columna de funciones

    feature_columns = [
      hub.text_embedding_column("comment", "path/to/module", trainable=False),
    ]
    input_fn = tf.estimator.inputs.numpy_input_fn(features, labels, shuffle=True)
    estimator = tf.estimator.DNNClassifier(hidden_units, feature_columns)
    estimator.train(input_fn, max_steps=100)

Notas

Los módulos han sido entrenados previamente en diferentes dominios y / o tareas y, por lo tanto, no todos los módulos de vector de características de texto serían adecuados para su problema. Por ejemplo: algunos módulos podrían haber sido entrenados en un solo idioma.

Esta interfaz no permite el ajuste fino de la representación de texto en las TPU, porque requiere que el módulo instancia tanto el procesamiento de cadenas como las variables entrenables al mismo tiempo.