ask

  • Açıklama :

ASQA, belirsiz olgusal sorulara odaklanan veri kümesini yanıtlayan ilk uzun biçimli sorudur. Önceki uzun biçimli yanıt veri kümelerinden farklı olarak, her soru hem uzun biçimli yanıtlarla hem de oluşturulan pasaj tarafından yanıtlanması gereken çıkarıcı soru-cevap çiftleriyle açıklanmıştır. Oluşturulan uzun biçimli bir yanıt, hem ROUGE hem de QA doğruluğu kullanılarak değerlendirilecektir. Bu değerlendirme ölçümlerinin insan muhakemesi ile iyi bir şekilde ilişkili olduğunu gösterdik. Bu depoda, değerlendirme koduyla birlikte ASQA veri kümesini yayınlıyoruz: <a href="https://github.com/google-research/language/tree/master/language/asqa">https://github.com/google-research/language/tree/master/language/asqa</a>

Bölmek örnekler
'dev' 948
'train' 4.353
  • Özellik yapısı :
FeaturesDict({
    'ambiguous_question': Text(shape=(), dtype=string),
    'annotations': Sequence({
        'knowledge': Sequence({
            'content': Text(shape=(), dtype=string),
            'wikipage': Text(shape=(), dtype=string),
        }),
        'long_answer': Text(shape=(), dtype=string),
    }),
    'qa_pairs': Sequence({
        'context': Text(shape=(), dtype=string),
        'question': Text(shape=(), dtype=string),
        'short_answers': Sequence(Text(shape=(), dtype=string)),
        'wikipage': Text(shape=(), dtype=string),
    }),
    'sample_id': int32,
    'wikipages': Sequence({
        'title': Text(shape=(), dtype=string),
        'url': Text(shape=(), dtype=string),
    }),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
belirsiz_soru Metin sicim AmbigQA'dan belirsizliği giderilmiş soru.
açıklamalar Sekans ASQA ek açıklamaları tarafından oluşturulan belirsiz soruya verilen uzun biçimli yanıtlar.
ek açıklamalar/bilgi Sekans Ek bilgi parçalarının listesi.
ek açıklamalar/bilgi/içerik Metin sicim Wikipedia'dan bir pasaj.
ek açıklamalar/bilgi/wiki sayfası Metin sicim Pasajın alındığı Wikipedia sayfasının başlığı.
ek açıklamalar/uzun_cevap Metin sicim Dipnot.
qa_pairs Sekans Belirsizliği gidermek için kullanılan AmbigQA'dan Soru-Cevap çiftleri.
qa_pairs/bağlam Metin sicim Sağlanan ek bağlam.
qa_pairs/soru Metin sicim
qa_pairs/short_answers Sıra(Metin) (Hiçbiri,) sicim AmbigQA'dan kısa yanıtların listesi.
qa_pairs/wikipage Metin sicim Ek içeriğin alındığı Wikipedia sayfasının başlığı.
örnek_kimliği tensör int32
wiki sayfaları Sekans AmbigQA ek açıklamaları tarafından ziyaret edilen Wikipedia sayfalarının listesi.
viki sayfaları/başlık Metin sicim Vikipedi sayfasının başlığı.
viki sayfaları/url Metin sicim Wikipedia sayfasına bağlantı.
  • Alıntı :
@misc{https://doi.org/10.48550/arxiv.2204.06092,
doi = {10.48550/ARXIV.2204.06092},
url = {https://arxiv.org/abs/2204.06092},
author = {Stelmakh, Ivan and Luan, Yi and Dhingra, Bhuwan and Chang, Ming-Wei},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {ASQA: Factoid Questions Meet Long-Form Answers},
publisher = {arXiv},
year = {2022},
copyright = {arXiv.org perpetual, non-exclusive license}
}