bir

  • Açıklama :

BEIR, çeşitli IR görevlerini içeren heterojen bir kıyaslamadır. Ayrıca, kıyaslama kapsamında NLP tabanlı erişim modellerinizin değerlendirilmesi için ortak ve kolay bir çerçeve sağlar.

FeaturesDict({
    'passage': Text(shape=(), dtype=tf.string),
    'passage_id': Text(shape=(), dtype=tf.string),
    'passage_metadata': Text(shape=(), dtype=tf.string),
    'query': Text(shape=(), dtype=tf.string),
    'query_id': Text(shape=(), dtype=tf.string),
    'query_metadata': Text(shape=(), dtype=tf.string),
    'score': tf.float32,
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtype Tanım
ÖzelliklerDict
geçit Metin tf.string
pasaj_kimliği Metin tf.string
pasaj_metadata Metin tf.string
sorgu Metin tf.string
sorgu_kimliği Metin tf.string
sorgu_metadata Metin tf.string
Puan tensör tf.float32
@inproceedings{
    thakur2021beir,
    title={ {BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
    author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{'e} and Abhishek Srivastava and Iryna Gurevych},
    booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
    year={2021},
    url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}

beir/msmarco (varsayılan yapılandırma)

  • İndirme boyutu : 1.01 GiB

  • Veri kümesi boyutu : 4.53 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 8.841.823
'query' 509.962
'test' 9,139
'train' 516.472
'validation' 7.433

beir/trec_covid

  • İndirme boyutu : 70.45 MiB

  • Veri kümesi boyutu : 292.04 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 171.332
'query' 50
'test' 35,480

beir/nfcorpus

  • İndirme boyutu : 2.34 MiB

  • Veri kümesi boyutu : 24.94 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'passage' 3.633
'query' 3.237
'test' 3.128
'train' 3.588
'validation' 3.119

bir/nq

  • İndirme boyutu : 475.22 MiB

  • Veri kümesi boyutu : 1.66 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 2.681.468
'query' 3.452
'test' 4,201

beir/hotpotqa

  • İndirme boyutu : 623.73 MiB

  • Veri kümesi boyutu : 2.64 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 5.233.329
'query' 97.852
'test' 13.783
'train' 101.307
'validation' 10.335

beir/fika

  • İndirme boyutu : 17.12 MiB

  • Veri kümesi boyutu : 73.39 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'passage' 57.638
'query' 6.648
'test' 1.706
'train' 14.166
'validation' 1.238

bira/arguana

  • İndirme boyutu : 3.60 MiB

  • Veri kümesi boyutu : 15.08 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'passage' 8.674
'query' 1.406
'test' 1.401

beir/webis_touche2020

  • İndirme boyutu : 216.61 MiB

  • Veri kümesi boyutu : 747.57 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 382.545
'query' 49
'test' 2.099

beir/cqadupstack.android

  • İndirme boyutu : 4.98 GiB

  • Veri kümesi boyutu : 883.49 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 22.998
'query' 699
'test' 1.696

beir/cqadupstack.english

  • İndirme boyutu : 4.98 GiB

  • Veri kümesi boyutu : 3.78 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 40.221
'query' 1.570
'test' 3.765

beir/cqadupstack.gaming

  • İndirme boyutu : 4.98 GiB

  • Veri kümesi boyutu : 2.64 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 45.301
'query' 1.595
'test' 2.263

beir/cqadupstack.gis

  • İndirme boyutu : 4.98 GiB

  • Veri kümesi boyutu : 1.47 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 37.637
'query' 885
'test' 1,114

beir/cqadupstack.mathematica

  • İndirme boyutu : 4.98 GiB

  • Veri kümesi boyutu : 1.58 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 16.705
'query' 804
'test' 1.358

beir/cqadupstack.physics

  • İndirme boyutu : 4.98 GiB

  • Veri kümesi boyutu : 2.02 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 38,316
'query' 1.039
'test' 1.933

beir/cqadupstack.programmers

  • İndirme boyutu : 4.98 GiB

  • Veri kümesi boyutu : 2.14 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 32.176
'query' 876
'test' 1.675

beir/cqadupstack.stats

  • İndirme boyutu : 4.98 GiB

  • Veri kümesi boyutu : 941.07 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 42.269
'query' 652
'test' 913

beir/cqadupstack.tex

  • İndirme boyutu : 4.98 GiB

  • Veri kümesi boyutu : 21.75 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 68,184
'query' 2.906
'test' 5.154

beir/cqadupstack.unix

  • İndirme boyutu : 4.98 GiB

  • Veri kümesi boyutu : 2.04 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 47.382
'query' 1.072
'test' 1.693

beir/cqadupstack.webmasters

  • İndirme boyutu : 4.98 GiB

  • Veri kümesi boyutu : 650.08 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 17.405
'query' 506
'test' 1.395

beir/cqadupstack.wordpress

  • İndirme boyutu : 4.98 GiB

  • Veri kümesi boyutu : 726.15 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 48,605
'query' 541
'test' 744

beir/quora

  • İndirme boyutu : 15.12 MiB

  • Veri kümesi boyutu : 121.33 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'passage' 522.931
'query' 15.000
'test' 15.675
'validation' 7.626

beir/dbpedia_entity

  • İndirme boyutu : 609.67 MiB

  • Veri kümesi boyutu : 2.47 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 4.635.922
'query' 467
'test' 40.724
'validation' 5.658

beir/scidocs

  • İndirme boyutu : 135.87 MiB

  • Veri kümesi boyutu : 573.04 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 25.657
'query' 1.000
'test' 25.657

ateş/ateş

  • İndirme boyutu : 1.15 GiB

  • Veri kümesi boyutu : 3.70 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 5.416.568
'query' 123.142
'test' 1.499
'train' 12.547
'validation' 1.460

beir/climate_fever

  • İndirme boyutu : 1.14 GiB

  • Veri kümesi boyutu : 3.64 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'passage' 5.416.593
'query' 1.535
'test' 1.344

beir/scifact

  • İndirme boyutu : 2.69 MiB

  • Veri kümesi boyutu : 10.16 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'passage' 5.183
'query' 1109
'test' 283
'train' 565