Ayuda a proteger la Gran Barrera de Coral con TensorFlow en Kaggle Únete Challenge

story_cloze

  • Descripción:

Story Cloze Test es un nuevo marco de razonamiento de sentido común para evaluar la comprensión de la historia, la generación de la historia y el aprendizaje de guiones. Esta prueba requiere un sistema para elegir el final correcto de una historia de cuatro oraciones.

  • Descripción config: 2018 años

  • Inicio: https://www.cs.rochester.edu/nlp/rocstories/

  • El código fuente: tfds.text.story_cloze.StoryCloze

  • versiones:

    • 1.0.0 (por defecto): Versión inicial.
  • Tamaño del paquete: Unknown size

  • Las instrucciones de descarga manual: Este conjunto de datos se requiere para descargar los datos de origen manualmente en download_config.manual_dir (por defecto ~/tensorflow_datasets/downloads/manual/ ):
    Visita https://www.cs.rochester.edu/nlp/rocstories/ y rellenar el formulario de Google para obtener los conjuntos de datos. Recibirá un correo electrónico con el enlace para descargar los conjuntos de datos. Para los datos de 2016, las necesidades de validación y archivo de prueba que cambiar el nombre a cloze_test val _spring2016.csv y cloze_test _spring2016.csv prueba, respectivamente. Para la versión 2018, las necesidades de validación y archivo de prueba a cambiar el nombre a cloze_test val _winter2018.csv y para cloze_test _winter2018.csv prueba, respectivamente. Mueva ambos archivos al directorio manual.

  • Auto-caché ( documentación ): Sí

  • características:

FeaturesDict({
    'context': Text(shape=(), dtype=tf.string),
    'endings': Sequence(Text(shape=(), dtype=tf.string)),
    'label': tf.int32,
})
@inproceedings{sharma-etal-2018-tackling,
    title = "Tackling the Story Ending Biases in The Story Cloze Test",
    author = "Sharma, Rishi  and
      Allen, James  and
      Bakhshandeh, Omid  and
      Mostafazadeh, Nasrin",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/P18-2119",
    doi = "10.18653/v1/P18-2119",
    pages = "752--757",
    abstract = "The Story Cloze Test (SCT) is a recent framework for evaluating story comprehension and script learning. There have been a variety of models tackling the SCT so far. Although the original goal behind the SCT was to require systems to perform deep language understanding and commonsense reasoning for successful narrative understanding, some recent models could perform significantly better than the initial baselines by leveraging human-authorship biases discovered in the SCT dataset. In order to shed some light on this issue, we have performed various data analysis and analyzed a variety of top performing models presented for this task. Given the statistics we have aggregated, we have designed a new crowdsourcing scheme that creates a new SCT dataset, which overcomes some of the biases. We benchmark a few models on the new dataset and show that the top-performing model on the original SCT dataset fails to keep up its performance. Our findings further signify the importance of benchmarking NLP systems on various evolving test sets.",
}

story_cloze / 2016 (configuración predeterminada)

  • Conjunto de datos de tamaño: 1.15 MiB

  • Fraccionamientos:

Separar Ejemplos de
'test' 1.871
'validation' 1.871

story_cloze / 2018

  • Conjunto de datos de tamaño: 1015.04 KiB

  • Fraccionamientos:

Separar Ejemplos de
'test' 1,571
'validation' 1,571