- বর্ণনা :
BEIR হল একটি ভিন্নধর্মী বেঞ্চমার্ক যাতে বিভিন্ন IR কাজ থাকে। এটি বেঞ্চমার্কের মধ্যে আপনার NLP-ভিত্তিক পুনরুদ্ধার মডেলগুলির মূল্যায়নের জন্য একটি সাধারণ এবং সহজ কাঠামো প্রদান করে।
অতিরিক্ত ডকুমেন্টেশন : কোড সহ কাগজপত্রে অন্বেষণ করুন
হোমপেজ : https://github.com/beir-cellar/beir
সোর্স কোড :
tfds.datasets.beir.Builderসংস্করণ :
-
1.0.0(ডিফল্ট): প্রাথমিক প্রকাশ।
-
বৈশিষ্ট্য গঠন :
FeaturesDict({
'passage': Text(shape=(), dtype=string),
'passage_id': Text(shape=(), dtype=string),
'passage_metadata': Text(shape=(), dtype=string),
'query': Text(shape=(), dtype=string),
'query_id': Text(shape=(), dtype=string),
'query_metadata': Text(shape=(), dtype=string),
'score': float32,
})
- বৈশিষ্ট্য ডকুমেন্টেশন :
| বৈশিষ্ট্য | ক্লাস | আকৃতি | ডিটাইপ | বর্ণনা |
|---|---|---|---|---|
| ফিচারসডিক্ট | ||||
| উত্তরণ | পাঠ্য | স্ট্রিং | ||
| passage_id | পাঠ্য | স্ট্রিং | ||
| উত্তরণ_মেটাডেটা | পাঠ্য | স্ট্রিং | ||
| প্রশ্ন | পাঠ্য | স্ট্রিং | ||
| query_id | পাঠ্য | স্ট্রিং | ||
| query_metadata | পাঠ্য | স্ট্রিং | ||
| স্কোর | টেনসর | float32 |
তত্ত্বাবধান করা কী (দেখুন
as_superviseddoc ):Noneচিত্র ( tfds.show_examples ): সমর্থিত নয়।
উদ্ধৃতি :
@inproceedings{
thakur2021beir,
title={ {BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{'e} and Abhishek Srivastava and Iryna Gurevych},
booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
year={2021},
url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}
beir/msmarco (ডিফল্ট কনফিগারেশন)
ডাউনলোড সাইজ :
1.01 GiBডেটাসেটের আকার :
4.53 GiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | ৮,৮৪১,৮২৩ |
'query' | 509,962 |
'test' | ৯,১৩৯ |
'train' | 516,472 |
'validation' | 7,433 |
- উদাহরণ ( tfds.as_dataframe ):
beir/trec_covid
ডাউনলোড সাইজ :
70.45 MiBডেটাসেটের আকার :
292.04 MiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 171,332 |
'query' | 50 |
'test' | 35,480 |
- উদাহরণ ( tfds.as_dataframe ):
beir/nfcorpus
ডাউনলোড সাইজ :
2.34 MiBডেটাসেটের আকার :
24.94 MiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): হ্যাঁ
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | ৩,৬৩৩ |
'query' | 3,237 |
'test' | 3,128 |
'train' | 3,588 |
'validation' | 3,119 |
- উদাহরণ ( tfds.as_dataframe ):
beir/nq
ডাউনলোড
475.22 MiBডেটাসেটের আকার :
1.66 GiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 2,681,468 |
'query' | ৩,৪৫২ |
'test' | 4,201 |
- উদাহরণ ( tfds.as_dataframe ):
beir/hotpotqa
ডাউনলোড সাইজ :
623.73 MiBডেটাসেটের আকার :
2.64 GiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 5,233,329 |
'query' | 97,852 |
'test' | 13,783 |
'train' | 101,307 |
'validation' | 10,335 |
- উদাহরণ ( tfds.as_dataframe ):
বিয়ার/ফিকা
ডাউনলোড সাইজ :
17.12 MiBডেটাসেটের আকার :
73.39 MiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): হ্যাঁ
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 57,638 |
'query' | ৬,৬৪৮ |
'test' | 1,706 |
'train' | 14,166 |
'validation' | 1,238 |
- উদাহরণ ( tfds.as_dataframe ):
বিয়ার/আরগুয়ানা
ডাউনলোডের আকার :
3.60 MiBডেটাসেটের আকার :
15.08 MiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): হ্যাঁ
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | ৮,৬৭৪ |
'query' | 1,406 |
'test' | 1,401 |
- উদাহরণ ( tfds.as_dataframe ):
beir/webis_touche2020
ডাউনলোড সাইজ :
216.61 MiBডেটাসেটের আকার :
747.57 MiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 382,545 |
'query' | 49 |
'test' | 2,099 |
- উদাহরণ ( tfds.as_dataframe ):
beir/cqadupstack.android
ডাউনলোড সাইজ :
4.98 GiBডেটাসেটের আকার :
883.49 MiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 22,998 |
'query' | 699 |
'test' | 1,696 |
- উদাহরণ ( tfds.as_dataframe ):
beir/cqadupstack.english
ডাউনলোড সাইজ :
4.98 GiBডেটাসেটের আকার :
3.78 GiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 40,221 |
'query' | 1,570 |
'test' | 3,765 |
- উদাহরণ ( tfds.as_dataframe ):
beir/cqadupstack.gaming
ডাউনলোড সাইজ :
4.98 GiBডেটাসেটের আকার :
2.64 GiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 45,301 |
'query' | 1,595 |
'test' | 2,263 |
- উদাহরণ ( tfds.as_dataframe ):
beir/cqadupstack.gis
ডাউনলোড সাইজ :
4.98 GiBডেটাসেটের আকার :
1.47 GiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 37,637 |
'query' | 885 |
'test' | 1,114 |
- উদাহরণ ( tfds.as_dataframe ):
beir/cqadupstack.mathematica
ডাউনলোড সাইজ :
4.98 GiBডেটাসেটের আকার :
1.58 GiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 16,705 |
'query' | 804 |
'test' | 1,358 |
- উদাহরণ ( tfds.as_dataframe ):
beir/cqadupstack.physics
ডাউনলোড সাইজ :
4.98 GiBডেটাসেটের আকার :
2.02 GiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 38,316 |
'query' | 1,039 |
'test' | 1,933 |
- উদাহরণ ( tfds.as_dataframe ):
beir/cqadupstack.programmers
ডাউনলোড সাইজ :
4.98 GiBডেটাসেটের আকার :
2.14 GiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 32,176 |
'query' | 876 |
'test' | 1,675 |
- উদাহরণ ( tfds.as_dataframe ):
beir/cqadupstack.stats
ডাউনলোড সাইজ :
4.98 GiBডেটাসেটের আকার :
941.07 MiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 42,269 |
'query' | 652 |
'test' | 913 |
- উদাহরণ ( tfds.as_dataframe ):
beir/cqadupstack.tex
ডাউনলোড সাইজ :
4.98 GiBডেটাসেটের আকার :
21.75 GiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 68,184 |
'query' | 2,906 |
'test' | 5,154 |
- উদাহরণ ( tfds.as_dataframe ):
beir/cqadupstack.unix
ডাউনলোড সাইজ :
4.98 GiBডেটাসেটের আকার :
2.04 GiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 47,382 |
'query' | 1,072 |
'test' | 1,693 |
- উদাহরণ ( tfds.as_dataframe ):
beir/cqadupstack.webmasters
ডাউনলোড সাইজ :
4.98 GiBডেটাসেটের আকার :
650.08 MiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 17,405 |
'query' | 506 |
'test' | 1,395 |
- উদাহরণ ( tfds.as_dataframe ):
beir/cqadupstack.wordpress
ডাউনলোড সাইজ :
4.98 GiBডেটাসেটের আকার :
726.15 MiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 48,605 |
'query' | 541 |
'test' | 744 |
- উদাহরণ ( tfds.as_dataframe ):
বিয়ার/কোরা
ডাউনলোড সাইজ :
15.12 MiBডেটাসেটের আকার :
121.33 MiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): হ্যাঁ
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 522,931 |
'query' | 15,000 |
'test' | 15,675 |
'validation' | 7,626 |
- উদাহরণ ( tfds.as_dataframe ):
beir/dbpedia_entity
ডাউনলোডের আকার :
609.67 MiBডেটাসেটের আকার :
2.47 GiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 4,635,922 |
'query' | 467 |
'test' | 40,724 |
'validation' | ৫,৬৫৮ |
- উদাহরণ ( tfds.as_dataframe ):
বিয়ার/স্কিডোক্স
ডাউনলোড আকার :
135.87 MiBডেটাসেটের আকার :
573.04 MiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 25,657 |
'query' | 1,000 |
'test' | 25,657 |
- উদাহরণ ( tfds.as_dataframe ):
বিয়ার/জ্বর
ডাউনলোড সাইজ :
1.15 GiBডেটাসেটের আকার :
3.70 GiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | ৫,৪১৬,৫৬৮ |
'query' | 123,142 |
'test' | 1,499 |
'train' | 12,547 |
'validation' | 1,460 |
- উদাহরণ ( tfds.as_dataframe ):
বিয়ার/জলবায়ু_জ্বর
ডাউনলোড সাইজ :
1.14 GiBডেটাসেটের আকার :
3.64 GiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | ৫,৪১৬,৫৯৩ |
'query' | 1,535 |
'test' | 1,344 |
- উদাহরণ ( tfds.as_dataframe ):
beir/sifact
ডাউনলোডের আকার :
2.69 MiBডেটাসেটের আকার :
10.16 MiBস্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): হ্যাঁ
বিভাজন :
| বিভক্ত | উদাহরণ |
|---|---|
'passage' | 5,183 |
'query' | 1,109 |
'test' | 283 |
'train' | 565 |
- উদাহরণ ( tfds.as_dataframe ):