ответ_эквивалентность

  • Описание :

Набор данных об эквивалентности ответов содержит человеческие оценки прогнозов моделей из нескольких моделей в наборе данных SQuAD. Рейтинги определяют, является ли прогнозируемый ответ «эквивалентным» золотому ответу (принимая во внимание как вопрос, так и контекст).

Более конкретно, под «эквивалентным» мы подразумеваем, что прогнозируемый ответ содержит по крайней мере ту же информацию, что и золотой ответ, и не добавляет лишней информации. Набор данных содержит аннотации для: * прогнозов от BiDAF по SQuAD dev * прогнозов от XLNet по SQuAD dev * прогнозов от Люка по SQuAD dev * прогнозов Альберта по обучению, разработке и тестам SQuAD

Расколоть Примеры
'ae_dev' 4446
'ae_test' 9724
'dev_bidaf' 7522
'dev_luke' 4590
'dev_xlnet' 7932
'train' 9090
  • Структура функции :
FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})
  • Документация по функциям :
Особенность Учебный класс Форма Dтип Описание
ОсобенностиDict
кандидат Текст нить
контекст Текст нить
gold_index Тензор int32
четыре раза в день Текст нить
вопрос Текст нить
Вопрос 1 Метка класса int64
вопрос 2 Метка класса int64
вопрос_3 Метка класса int64
вопрос_4 Метка класса int64
ссылка Текст нить
счет Тензор поплавок32
  • Цитата :
@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}