аска

  • Описание :

ASQA — это первый набор данных с развернутыми ответами на вопросы, который фокусируется на неоднозначных фактоидных вопросах. В отличие от предыдущих наборов данных полных ответов, каждый вопрос аннотирован как полными ответами, так и извлеченными парами вопрос-ответ, на которые должен отвечать сгенерированный отрывок. Сгенерированный подробный ответ будет оцениваться с использованием точности ROUGE и QA. Мы показали, что эти показатели оценки хорошо коррелируют с человеческими суждениями. В этом репозитории мы публикуем набор данных ASQA вместе с оценочным кодом: <a href="https://github.com/google-research/language/tree/master/language/asqa">https://github.com/google-research/language/tree/master/language/asqa</a> . <a href="https://github.com/google-research/language/tree/master/language/asqa">https://github.com/google-research/language/tree/master/language/asqa</a>

Расколоть Примеры
'dev' 948
'train' 4353
  • Структура функции :
FeaturesDict({
    'ambiguous_question': Text(shape=(), dtype=string),
    'annotations': Sequence({
        'knowledge': Sequence({
            'content': Text(shape=(), dtype=string),
            'wikipage': Text(shape=(), dtype=string),
        }),
        'long_answer': Text(shape=(), dtype=string),
    }),
    'qa_pairs': Sequence({
        'context': Text(shape=(), dtype=string),
        'question': Text(shape=(), dtype=string),
        'short_answers': Sequence(Text(shape=(), dtype=string)),
        'wikipage': Text(shape=(), dtype=string),
    }),
    'sample_id': int32,
    'wikipages': Sequence({
        'title': Text(shape=(), dtype=string),
        'url': Text(shape=(), dtype=string),
    }),
})
  • Документация по функциям :
Особенность Учебный класс Форма Dтип Описание
ОсобенностиDict
неоднозначный_вопрос Текст нить Недвусмысленный вопрос от AmbigQA.
аннотации Последовательность Подробные ответы на неоднозначный вопрос, составленные аннотаторами ASQA.
аннотации/знания Последовательность Список дополнительных знаний.
аннотации/знания/контент Текст нить Отрывок из Википедии.
аннотации/знания/вики-страница Текст нить Название страницы в Википедии, с которой взят отрывок.
аннотации/long_answer Текст нить Аннотация.
qa_pairs Последовательность Пары вопросов и ответов от AmbigQA, которые используются для устранения неоднозначности.
qa_pairs/контекст Текст нить Предоставляется дополнительный контекст.
qa_pairs/вопрос Текст нить
qa_pairs/short_answers Последовательность (текст) (Никто,) нить Список кратких ответов от AmbigQA.
qa_pairs/вики-страница Текст нить Название страницы Википедии, из которой был взят дополнительный контекст.
sample_id Тензор int32
вики-страницы Последовательность Список страниц Википедии, которые посетили комментаторы AmbigQA.
вики-страницы/название Текст нить Название страницы в Википедии.
вики-страницы/ссылка Текст нить Ссылка на страницу в Википедии.
  • Цитата :
@misc{https://doi.org/10.48550/arxiv.2204.06092,
doi = {10.48550/ARXIV.2204.06092},
url = {https://arxiv.org/abs/2204.06092},
author = {Stelmakh, Ivan and Luan, Yi and Dhingra, Bhuwan and Chang, Ming-Wei},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {ASQA: Factoid Questions Meet Long-Form Answers},
publisher = {arXiv},
year = {2022},
copyright = {arXiv.org perpetual, non-exclusive license}
}