ask

  • Açıklama :

ASQA, belirsiz olgusal sorulara odaklanan ilk uzun biçimli soru yanıtlama veri kümesidir. Önceki uzun biçimli yanıt veri kümelerinden farklı olarak, her soruya hem uzun biçimli yanıtlar hem de oluşturulan pasaj tarafından yanıtlanması gereken çıkarımcı soru-cevap çiftleriyle açıklama eklenir. Oluşturulan uzun biçimli bir yanıt, hem ROUGE hem de QA doğruluğu kullanılarak değerlendirilecektir. Bu değerlendirme ölçütlerinin insan muhakemesi ile iyi bir şekilde ilişkili olduğunu gösterdik. Bu depoda ASQA veri kümesini değerlendirme koduyla birlikte yayınlıyoruz: <a href="https://github.com/google-research/language/tree/master/language/asqa">https://github.com/google-research/language/tree/master/language/asqa</a>

Bölmek Örnekler
'dev' 948
'train' 4.353
  • Özellik yapısı :
FeaturesDict({
    'ambiguous_question': Text(shape=(), dtype=tf.string),
    'annotations': Sequence({
        'knowledge': Sequence({
            'content': Text(shape=(), dtype=tf.string),
            'wikipage': Text(shape=(), dtype=tf.string),
        }),
        'long_answer': Text(shape=(), dtype=tf.string),
    }),
    'qa_pairs': Sequence({
        'context': Text(shape=(), dtype=tf.string),
        'question': Text(shape=(), dtype=tf.string),
        'short_answers': Sequence(Text(shape=(), dtype=tf.string)),
        'wikipage': Text(shape=(), dtype=tf.string),
    }),
    'sample_id': tf.int32,
    'wikipages': Sequence({
        'title': Text(shape=(), dtype=tf.string),
        'url': Text(shape=(), dtype=tf.string),
    }),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtype Tanım
ÖzelliklerDict
belirsiz_soru Metin tf.string AmbigQA'dan belirsiz soru.
ek açıklamalar Sekans ASQA açıklayıcıları tarafından oluşturulan belirsiz soruya uzun biçimli cevaplar.
ek açıklamalar/bilgi Sekans Ek bilgi parçalarının listesi.
ek açıklamalar/bilgi/içerik Metin tf.string Wikipedia'dan bir pasaj.
ek açıklamalar/bilgi/wikipage Metin tf.string Parçanın alındığı Wikipedia sayfasının başlığı.
ek açıklamalar/uzun_cevap Metin tf.string Dipnot.
qa_pairs Sekans AmbigQA'dan anlam ayrımı için kullanılan Soru-Cevap çiftleri.
qa_pairs/bağlam Metin tf.string Ek bağlam sağlandı.
qa_pairs/soru Metin tf.string
qa_pairs/short_answers Sıra(Metin) (Hiçbiri,) tf.string AmbigQA'dan gelen kısa yanıtların listesi.
qa_pairs/wikipage Metin tf.string Ek içeriğin alındığı Wikipedia sayfasının başlığı.
örnek_kimliği tensör tf.int32
wikipages Sekans AmbigQA açıklayıcıları tarafından ziyaret edilen Wikipedia sayfalarının listesi.
wikipages/başlık Metin tf.string Wikipedia sayfasının başlığı.
wikipages/url Metin tf.string Wikipedia sayfasına bağlantı.
  • alıntı :
@misc{https://doi.org/10.48550/arxiv.2204.06092,
doi = {10.48550/ARXIV.2204.06092},
url = {https://arxiv.org/abs/2204.06092},
author = {Stelmakh, Ivan and Luan, Yi and Dhingra, Bhuwan and Chang, Ming-Wei},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {ASQA: Factoid Questions Meet Long-Form Answers},
publisher = {arXiv},
year = {2022},
copyright = {arXiv.org perpetual, non-exclusive license}
}