เบียร์

  • คำอธิบาย :

BEIR เป็นเกณฑ์มาตรฐานที่แตกต่างกันซึ่งมีงาน IR ที่หลากหลาย นอกจากนี้ยังมีกรอบทั่วไปและง่ายสำหรับการประเมินแบบจำลองการดึงตาม NLP ของคุณภายในเกณฑ์มาตรฐาน

FeaturesDict({
    'passage': Text(shape=(), dtype=string),
    'passage_id': Text(shape=(), dtype=string),
    'passage_metadata': Text(shape=(), dtype=string),
    'query': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'query_metadata': Text(shape=(), dtype=string),
    'score': float32,
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dประเภท คำอธิบาย
คุณสมบัติDict
ทางเดิน ข้อความ สตริง
pass_id ข้อความ สตริง
passage_metadata ข้อความ สตริง
สอบถาม ข้อความ สตริง
แบบสอบถาม_id ข้อความ สตริง
query_metadata ข้อความ สตริง
คะแนน เทนเซอร์ ลอย32
  • คีย์ภายใต้การดูแล (ดู as_supervised doc ): None

  • รูปภาพ ( tfds.show_examples ): ไม่รองรับ

  • การอ้างอิง :

@inproceedings{
    thakur2021beir,
    title={ {BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
    author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{'e} and Abhishek Srivastava and Iryna Gurevych},
    booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
    year={2021},
    url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}

beir/msmarco (การกำหนดค่าเริ่มต้น)

  • ขนาดการดาวน์โหลด : 1.01 GiB

  • ขนาดชุดข้อมูล : 4.53 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 8,841,823
'query' 509,962
'test' 9,139
'train' 516,472
'validation' 7,433

เบียร์/trec_covid

  • ขนาดการดาวน์โหลด : 70.45 MiB

  • ขนาดชุดข้อมูล : 292.04 MiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 171,332
'query' 50
'test' 35,480

เบียร์/nfcorpus

  • ขนาดการดาวน์โหลด : 2.34 MiB

  • ขนาดชุดข้อมูล : 24.94 MiB

  • แคชอัตโนมัติ ( เอกสาร ): ใช่

  • แยก :

แยก ตัวอย่าง
'passage' 3,633
'query' 3,237
'test' 3,128
'train' 3,588
'validation' 3,119

เบอ/nq

  • ขนาดการดาวน์โหลด : 475.22 MiB

  • ขนาดชุดข้อมูล : 1.66 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 2,681,468
'query' 3,452
'test' 4,201

เบอ/หม้อไฟ

  • ขนาดการดาวน์โหลด : 623.73 MiB

  • ขนาดชุดข้อมูล : 2.64 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 5,233,329
'query' 97,852
'test' 13,783
'train' 101,307
'validation' 10,335

เบบีร์/ฟีกา

  • ขนาดการดาวน์โหลด : 17.12 MiB

  • ขนาดชุดข้อมูล : 73.39 MiB

  • แคชอัตโนมัติ ( เอกสาร ): ใช่

  • แยก :

แยก ตัวอย่าง
'passage' 57,638
'query' 6,648
'test' 1,706
'train' 14,166
'validation' 1,238

เบียร์/อาร์กัวน่า

  • ขนาดการดาวน์โหลด : 3.60 MiB

  • ขนาดชุดข้อมูล : 15.08 MiB

  • แคชอัตโนมัติ ( เอกสาร ): ใช่

  • แยก :

แยก ตัวอย่าง
'passage' 8,674
'query' 1,406
'test' 1,401

beir/webis_touche2020

  • ขนาดการดาวน์โหลด : 216.61 MiB

  • ขนาดชุดข้อมูล : 747.57 MiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 382,545
'query' 49
'test' 2,099

beir/cqadupstack.android

  • ขนาดการดาวน์โหลด : 4.98 GiB

  • ขนาดชุดข้อมูล : 883.49 MiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 22,998
'query' 699
'test' 1,696

beir/cqadupstack.english

  • ขนาดการดาวน์โหลด : 4.98 GiB

  • ขนาดชุดข้อมูล : 3.78 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 40,221
'query' 1,570
'test' 3,765

beir/cqadupstack.gaming

  • ขนาดการดาวน์โหลด : 4.98 GiB

  • ขนาดชุดข้อมูล : 2.64 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 45,301
'query' 1,595
'test' 2,263

beir/cqadupstack.gis

  • ขนาดการดาวน์โหลด : 4.98 GiB

  • ขนาดชุดข้อมูล : 1.47 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 37,637
'query' 885
'test' 1,114

beir/cqadupstack.mathematica

  • ขนาดการดาวน์โหลด : 4.98 GiB

  • ขนาดชุดข้อมูล : 1.58 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 16,705
'query' 804
'test' 1,358

beir/cqadupstack.physics

  • ขนาดการดาวน์โหลด : 4.98 GiB

  • ขนาดชุดข้อมูล : 2.02 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 38,316
'query' 1,039
'test' 1,933

beir/cqadupstack.programmers

  • ขนาดการดาวน์โหลด : 4.98 GiB

  • ขนาดชุดข้อมูล : 2.14 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 32,176
'query' 876
'test' 1,675

beir/cqadupstack.stats

  • ขนาดการดาวน์โหลด : 4.98 GiB

  • ขนาดชุดข้อมูล : 941.07 MiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 42,269
'query' 652
'test' 913

beir/cqadupstack.tex

  • ขนาดการดาวน์โหลด : 4.98 GiB

  • ขนาดชุดข้อมูล : 21.75 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 68,184
'query' 2,906
'test' 5,154

beir/cqadupstack.unix

  • ขนาดการดาวน์โหลด : 4.98 GiB

  • ขนาดชุดข้อมูล : 2.04 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 47,382
'query' 1,072
'test' 1,693

beir/cqadupstack.webmasters

  • ขนาดการดาวน์โหลด : 4.98 GiB

  • ขนาดชุดข้อมูล : 650.08 MiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 17,405
'query' 506
'test' 1,395

beir/cqadupstack.wordpress

  • ขนาดการดาวน์โหลด : 4.98 GiB

  • ขนาดชุดข้อมูล : 726.15 MiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 48,605
'query' 541
'test' 744

เบียร์/โควรา

  • ขนาดการดาวน์โหลด : 15.12 MiB

  • ขนาดชุดข้อมูล : 121.33 MiB

  • แคชอัตโนมัติ ( เอกสาร ): ใช่

  • แยก :

แยก ตัวอย่าง
'passage' 522,931
'query' 15,000
'test' 15,675
'validation' 7,626

beir/dbpedia_entity

  • ขนาดการดาวน์โหลด : 609.67 MiB

  • ขนาดชุดข้อมูล : 2.47 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 4,635,922
'query' 467
'test' 40,724
'validation' 5,658

เบียร์/สซิด็อก

  • ขนาดการดาวน์โหลด : 135.87 MiB

  • ขนาดชุดข้อมูล : 573.04 MiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 25,657
'query' 1,000
'test' 25,657

เบียร์ / ไข้

  • ขนาดการดาวน์โหลด : 1.15 GiB

  • ขนาดชุดข้อมูล : 3.70 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 5,416,568
'query' 123,142
'test' 1,499
'train' 12,547
'validation' 1,460

เบียร์/climate_fever

  • ขนาดการดาวน์โหลด : 1.14 GiB

  • ขนาดชุดข้อมูล : 3.64 GiB

  • แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

  • แยก :

แยก ตัวอย่าง
'passage' 5,416,593
'query' 1,535
'test' 1,344

เบียร์/ซิแฟคท์

  • ขนาดการดาวน์โหลด : 2.69 MiB

  • ขนาดชุดข้อมูล : 10.16 MiB

  • แคชอัตโนมัติ ( เอกสาร ): ใช่

  • แยก :

แยก ตัวอย่าง
'passage' 5,183
'query' 1,109
'test' 283
'train' 565