Ayuda a proteger la Gran Barrera de Coral con TensorFlow en Kaggle Únete Challenge

xquad

  • Descripción:

XQuAD (Conjunto de datos de respuesta a preguntas en varios idiomas) es un conjunto de datos de referencia para evaluar el rendimiento de respuesta a preguntas en varios idiomas. El conjunto de datos consta de un subconjunto de 240 párrafos y 1190 pares de preguntas y respuestas del conjunto de desarrollo de SQuAD v1.1 (Rajpurkar et al., 2016) junto con sus traducciones profesionales a diez idiomas: español, alemán, griego, ruso, turco. , Árabe, vietnamita, tailandés, chino e hindi. En consecuencia, el conjunto de datos es completamente paralelo en 11 idiomas. Para ejecutar XQuAD en la configuración cero de disparo predeterminado, utilice los datos de entrenamiento y validación v1.1 SquaD aquí: https://www.tensorflow.org/datasets/catalog/squad

También incluimos divisiones "translate-train", "translate-dev" y "translate-test" para cada idioma que no sea inglés de XTREME (Hu et al., 2020). Estos se pueden utilizar para ejecutar XQuAD en la configuración de "translate-train" o "translate-test".

  • Inicio: https://github.com/deepmind/xquad

  • El código fuente: tfds.question_answering.Xquad

  • versiones:

    • 3.0.0 (predeterminado): Corrige problema con un número de ejemplos en los vanos de respuesta están desalineados debido a la eliminación de espacio en blanco contexto. Este cambio afecta aproximadamente al 14% de los ejemplos de prueba.
  • características:

FeaturesDict({
    'answers': Sequence({
        'answer_start': tf.int32,
        'text': Text(shape=(), dtype=tf.string),
    }),
    'context': Text(shape=(), dtype=tf.string),
    'id': tf.string,
    'question': Text(shape=(), dtype=tf.string),
    'title': Text(shape=(), dtype=tf.string),
})
@article{Artetxe:etal:2019,
      author    = {Mikel Artetxe and Sebastian Ruder and Dani Yogatama},
      title     = {On the cross-lingual transferability of monolingual representations},
      journal   = {CoRR},
      volume    = {abs/1910.11856},
      year      = {2019},
      archivePrefix = {arXiv},
      eprint    = {1910.11856}
}

xquad / ar (configuración predeterminada)

  • Descripción config: XQuAD prueba dividida 'ar', con divisiones / de la prueba traducir traducidos automáticamente traducir tren / traducirá-dev desde XTREME (Hu et al, 2020)..

  • Tamaño del paquete: 420.97 MiB

  • Conjunto de datos de tamaño: 134.83 MiB

  • Auto-caché ( documentación ): Sí

  • Fraccionamientos:

Separar Ejemplos de
'test' 1,190
'translate-dev' 10,541
'translate-test' 1,151
'translate-train' 86,787

xquad / de

  • Descripción config: (. Hu et al, 2020) XQuAD 'de' prueba dividida, con divisiones / de la prueba traducir traducidos automáticamente traducir tren / traducirá-dev desde XTREME.

  • Tamaño del paquete: 127.04 MiB

  • Conjunto de datos de tamaño: 98.80 MiB

  • Auto-caché ( documentación ): Sí

  • Fraccionamientos:

Separar Ejemplos de
'test' 1,190
'translate-dev' 10,371
'translate-test' 1,168
'translate-train' 82,603

xquad / el

  • Descripción config: XQuAD 'el' prueba dividida, con divisiones / de la prueba traducir traducidos automáticamente traducir tren / traducirá-dev desde XTREME (Hu et al, 2020)..

  • Tamaño del paquete: 499.40 MiB

  • Conjunto de datos de tamaño: 157.90 MiB

  • Auto-caché ( documentación ): Sí (ensayo, traducir-dev, traducir-test), solamente cuando está shuffle_files=False (traducir-tren)

  • Fraccionamientos:

Separar Ejemplos de
'test' 1,190
'translate-dev' 10.100
'translate-test' 1,182
'translate-train' 79,946

xquad / es

  • Descripción config: prueba dividida XQuAD 'es', con divisiones / de la prueba traducir traducidos automáticamente traducir tren / traducirá-dev desde XTREME (Hu et al, 2020)..

  • Tamaño del paquete: 138.41 MiB

  • Conjunto de datos de tamaño: 104.96 MiB

  • Auto-caché ( documentación ): Sí

  • Fraccionamientos:

Separar Ejemplos de
'test' 1,190
'translate-dev' 10,566
'translate-test' 1,188
'translate-train' 87,488

xquad / hola

  • Descripción config: 'hola' prueba dividida XQuAD, con divisiones / de la prueba traducir traducidos automáticamente traducir tren / traducirá-dev desde XTREME (Hu et al, 2020)..

  • Tamaño del paquete: 472.23 MiB

  • Conjunto de datos de tamaño: 207.85 MiB

  • Auto-caché ( documentación ): Sí (ensayo, traducir-dev, traducir-test), solamente cuando está shuffle_files=False (traducir-tren)

  • Fraccionamientos:

Separar Ejemplos de
'test' 1,190
'translate-dev' 10,536
'translate-test' 1,184
'translate-train' 85,804

xquad / ru

  • Descripción config: XQuAD 'ru' prueba dividida, con divisiones / de la prueba traducir traducidos automáticamente traducir tren / traducirá-dev desde XTREME (Hu et al, 2020)..

  • Tamaño del paquete: 513.80 MiB

  • Conjunto de datos de tamaño: 159.38 MiB

  • Auto-caché ( documentación ): Sí (ensayo, traducir-dev, traducir-test), solamente cuando está shuffle_files=False (traducir-tren)

  • Fraccionamientos:

Separar Ejemplos de
'test' 1,190
'translate-dev' 10,469
'translate-test' 1,190
'translate-train' 84,869

xquad / th

  • Descripción config: XQuAD prueba dividida 'th', con divisiones / de la prueba traducir traducidos automáticamente traducir tren / traducirá-dev desde XTREME (Hu et al, 2020)..

  • Tamaño del paquete: 461.54 MiB

  • Conjunto de datos de tamaño: 199.57 MiB

  • Auto-caché ( documentación ): Sí (ensayo, traducir-dev, traducir-test), solamente cuando está shuffle_files=False (traducir-tren)

  • Fraccionamientos:

Separar Ejemplos de
'test' 1,190
'translate-dev' 10,516
'translate-test' 1,157
'translate-train' 85,846

xquad / tr

  • Descripción config: XQuAD prueba dividida 'tr', con divisiones / de la prueba traducir traducidos automáticamente traducir tren / traducirá-dev desde XTREME (Hu et al, 2020)..

  • Tamaño del paquete: 151.08 MiB

  • Conjunto de datos de tamaño: 97.56 MiB

  • Auto-caché ( documentación ): Sí

  • Fraccionamientos:

Separar Ejemplos de
'test' 1,190
'translate-dev' 10,535
'translate-test' 1,112
'translate-train' 86,511

xquad / vi

  • Descripción config: (. Hu et al, 2020) XQuAD 'vi' prueba dividida, con divisiones / de la prueba traducir traducidos automáticamente traducir tren / traducirá-dev desde XTREME.

  • Tamaño del paquete: 218.09 MiB

  • Conjunto de datos de tamaño: 120.03 MiB

  • Auto-caché ( documentación ): Sí

  • Fraccionamientos:

Separar Ejemplos de
'test' 1,190
'translate-dev' 10,555
'translate-test' 1,178
'translate-train' 87,187

xquad / zh

  • Descripción config: XQuAD prueba dividida 'zh', con divisiones / de la prueba traducir traducidos automáticamente traducir tren / traducirá-dev desde XTREME (Hu et al, 2020)..

  • Tamaño del paquete: 174.57 MiB

  • Conjunto de datos de tamaño: 80.79 MiB

  • Auto-caché ( documentación ): Sí

  • Fraccionamientos:

Separar Ejemplos de
'test' 1,190
'translate-dev' 10,475
'translate-test' 1,186
'translate-train' 85,700

xquad / en

  • Descripción config: XQuAD 'es' prueba dividida.

  • Tamaño del paquete: 595.10 KiB

  • Conjunto de datos de tamaño: 1.19 MiB

  • Auto-caché ( documentación ): Sí

  • Fraccionamientos:

Separar Ejemplos de
'test' 1,190