Asqa

Organiza tus páginas con colecciones Guarda y categoriza el contenido según tus preferencias.

  • Descripción :

ASQA es el primer conjunto de datos de respuesta a preguntas de formato largo que se centra en preguntas factoides ambiguas. A diferencia de los conjuntos de datos de respuestas de formato largo anteriores, cada pregunta se anota con respuestas de formato largo y pares de pregunta-respuesta extractivos, que deben responderse mediante el pasaje generado. Una respuesta de formato largo generada se evaluará con la precisión de ROUGE y QA. Mostramos que estas métricas de evaluación se correlacionaron bien con el juicio humano. En este repositorio publicamos el conjunto de datos de ASQA, junto con el código de evaluación: <a href="https://github.com/google-research/language/tree/master/language/asqa">https://github.com/google-research/language/tree/master/language/asqa</a>

Separar Ejemplos
'dev' 948
'train' 4,353
  • Estructura de características :
FeaturesDict({
    'ambiguous_question': Text(shape=(), dtype=tf.string),
    'annotations': Sequence({
        'knowledge': Sequence({
            'content': Text(shape=(), dtype=tf.string),
            'wikipage': Text(shape=(), dtype=tf.string),
        }),
        'long_answer': Text(shape=(), dtype=tf.string),
    }),
    'qa_pairs': Sequence({
        'context': Text(shape=(), dtype=tf.string),
        'question': Text(shape=(), dtype=tf.string),
        'short_answers': Sequence(Text(shape=(), dtype=tf.string)),
        'wikipage': Text(shape=(), dtype=tf.string),
    }),
    'sample_id': tf.int32,
    'wikipages': Sequence({
        'title': Text(shape=(), dtype=tf.string),
        'url': Text(shape=(), dtype=tf.string),
    }),
})
  • Documentación de características :
Rasgo Clase Forma Tipo D Descripción
CaracterísticasDict
pregunta_ambigua Texto tf.cadena Pregunta desambiguada de AmbigQA.
anotaciones Secuencia Respuestas largas a la pregunta ambigua construida por los anotadores de ASQA.
anotaciones/conocimiento Secuencia Lista de piezas de conocimiento adicionales.
anotaciones/conocimiento/contenido Texto tf.cadena Un pasaje de Wikipedia.
anotaciones/conocimiento/wikipage Texto tf.cadena Título de la página de Wikipedia de donde se tomó el pasaje.
anotaciones/respuesta_larga Texto tf.cadena Anotación.
qa_pares Secuencia Pares de preguntas y respuestas de AmbigQA que se utilizan para la desambiguación.
qa_pairs/contexto Texto tf.cadena Se proporciona contexto adicional.
qa_pairs/pregunta Texto tf.cadena
qa_pairs/respuestas_cortas Secuencia (Texto) (Ninguna,) tf.cadena Lista de respuestas cortas de AmbigQA.
qa_pairs/página wiki Texto tf.cadena Título de la página de Wikipedia de donde se tomó el contexto adicional.
ejemplo de identificacion Tensor tf.int32
páginas wiki Secuencia Lista de páginas de Wikipedia visitadas por los anotadores de AmbigQA.
wikipages/título Texto tf.cadena Título de la página de Wikipedia.
wikipages/url Texto tf.cadena Enlace a la página de Wikipedia.
  • Cita :
@misc{https://doi.org/10.48550/arxiv.2204.06092,
doi = {10.48550/ARXIV.2204.06092},
url = {https://arxiv.org/abs/2204.06092},
author = {Stelmakh, Ivan and Luan, Yi and Dhingra, Bhuwan and Chang, Ming-Wei},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {ASQA: Factoid Questions Meet Long-Form Answers},
publisher = {arXiv},
year = {2022},
copyright = {arXiv.org perpetual, non-exclusive license}
}