- Описание :
MSLR-WEB — это два крупномасштабных набора данных Learning-to-Rank, выпущенных Microsoft Research. Первый набор данных (называемый «30 000») содержит 30 000 запросов, а второй набор данных (называемый «10 000») содержит 10 000 запросов. Каждый набор данных состоит из пар запрос-документ, представленных в виде векторов признаков и соответствующих меток суждения о релевантности.
Вы можете указать, использовать ли версию набора данных «10 КБ» или «30 КБ» и соответствующую складку следующим образом:
ds = tfds.load("mslr_web/30k_fold1")
Если указан только mslr_web
, по умолчанию выбирается вариант mslr_web/10k_fold1
:
# This is the same as `tfds.load("mslr_web/10k_fold1")`
ds = tfds.load("mslr_web")
Домашняя страница : https://www.microsoft.com/en-us/research/project/mslr/
Исходный код :
tfds.ranking.mslr_web.MslrWeb
Версии :
-
1.0.0
(по умолчанию): Первоначальный выпуск.
-
Автоматическое кэширование ( документация ): Нет
Особенности :
FeaturesDict({
'bm25_anchor': Tensor(shape=(None,), dtype=tf.float64),
'bm25_body': Tensor(shape=(None,), dtype=tf.float64),
'bm25_title': Tensor(shape=(None,), dtype=tf.float64),
'bm25_url': Tensor(shape=(None,), dtype=tf.float64),
'bm25_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'boolean_model_anchor': Tensor(shape=(None,), dtype=tf.float64),
'boolean_model_body': Tensor(shape=(None,), dtype=tf.float64),
'boolean_model_title': Tensor(shape=(None,), dtype=tf.float64),
'boolean_model_url': Tensor(shape=(None,), dtype=tf.float64),
'boolean_model_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'covered_query_term_number_anchor': Tensor(shape=(None,), dtype=tf.float64),
'covered_query_term_number_body': Tensor(shape=(None,), dtype=tf.float64),
'covered_query_term_number_title': Tensor(shape=(None,), dtype=tf.float64),
'covered_query_term_number_url': Tensor(shape=(None,), dtype=tf.float64),
'covered_query_term_number_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'covered_query_term_ratio_anchor': Tensor(shape=(None,), dtype=tf.float64),
'covered_query_term_ratio_body': Tensor(shape=(None,), dtype=tf.float64),
'covered_query_term_ratio_title': Tensor(shape=(None,), dtype=tf.float64),
'covered_query_term_ratio_url': Tensor(shape=(None,), dtype=tf.float64),
'covered_query_term_ratio_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'idf_anchor': Tensor(shape=(None,), dtype=tf.float64),
'idf_body': Tensor(shape=(None,), dtype=tf.float64),
'idf_title': Tensor(shape=(None,), dtype=tf.float64),
'idf_url': Tensor(shape=(None,), dtype=tf.float64),
'idf_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'inlink_number': Tensor(shape=(None,), dtype=tf.float64),
'label': Tensor(shape=(None,), dtype=tf.float64),
'length_of_url': Tensor(shape=(None,), dtype=tf.float64),
'lmir_abs_anchor': Tensor(shape=(None,), dtype=tf.float64),
'lmir_abs_body': Tensor(shape=(None,), dtype=tf.float64),
'lmir_abs_title': Tensor(shape=(None,), dtype=tf.float64),
'lmir_abs_url': Tensor(shape=(None,), dtype=tf.float64),
'lmir_abs_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'lmir_dir_anchor': Tensor(shape=(None,), dtype=tf.float64),
'lmir_dir_body': Tensor(shape=(None,), dtype=tf.float64),
'lmir_dir_title': Tensor(shape=(None,), dtype=tf.float64),
'lmir_dir_url': Tensor(shape=(None,), dtype=tf.float64),
'lmir_dir_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'lmir_jm_anchor': Tensor(shape=(None,), dtype=tf.float64),
'lmir_jm_body': Tensor(shape=(None,), dtype=tf.float64),
'lmir_jm_title': Tensor(shape=(None,), dtype=tf.float64),
'lmir_jm_url': Tensor(shape=(None,), dtype=tf.float64),
'lmir_jm_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'max_of_stream_length_normalized_term_frequency_anchor': Tensor(shape=(None,), dtype=tf.float64),
'max_of_stream_length_normalized_term_frequency_body': Tensor(shape=(None,), dtype=tf.float64),
'max_of_stream_length_normalized_term_frequency_title': Tensor(shape=(None,), dtype=tf.float64),
'max_of_stream_length_normalized_term_frequency_url': Tensor(shape=(None,), dtype=tf.float64),
'max_of_stream_length_normalized_term_frequency_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'max_of_term_frequency_anchor': Tensor(shape=(None,), dtype=tf.float64),
'max_of_term_frequency_body': Tensor(shape=(None,), dtype=tf.float64),
'max_of_term_frequency_title': Tensor(shape=(None,), dtype=tf.float64),
'max_of_term_frequency_url': Tensor(shape=(None,), dtype=tf.float64),
'max_of_term_frequency_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'max_of_tf_idf_anchor': Tensor(shape=(None,), dtype=tf.float64),
'max_of_tf_idf_body': Tensor(shape=(None,), dtype=tf.float64),
'max_of_tf_idf_title': Tensor(shape=(None,), dtype=tf.float64),
'max_of_tf_idf_url': Tensor(shape=(None,), dtype=tf.float64),
'max_of_tf_idf_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'mean_of_stream_length_normalized_term_frequency_anchor': Tensor(shape=(None,), dtype=tf.float64),
'mean_of_stream_length_normalized_term_frequency_body': Tensor(shape=(None,), dtype=tf.float64),
'mean_of_stream_length_normalized_term_frequency_title': Tensor(shape=(None,), dtype=tf.float64),
'mean_of_stream_length_normalized_term_frequency_url': Tensor(shape=(None,), dtype=tf.float64),
'mean_of_stream_length_normalized_term_frequency_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'mean_of_term_frequency_anchor': Tensor(shape=(None,), dtype=tf.float64),
'mean_of_term_frequency_body': Tensor(shape=(None,), dtype=tf.float64),
'mean_of_term_frequency_title': Tensor(shape=(None,), dtype=tf.float64),
'mean_of_term_frequency_url': Tensor(shape=(None,), dtype=tf.float64),
'mean_of_term_frequency_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'mean_of_tf_idf_anchor': Tensor(shape=(None,), dtype=tf.float64),
'mean_of_tf_idf_body': Tensor(shape=(None,), dtype=tf.float64),
'mean_of_tf_idf_title': Tensor(shape=(None,), dtype=tf.float64),
'mean_of_tf_idf_url': Tensor(shape=(None,), dtype=tf.float64),
'mean_of_tf_idf_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'min_of_stream_length_normalized_term_frequency_anchor': Tensor(shape=(None,), dtype=tf.float64),
'min_of_stream_length_normalized_term_frequency_body': Tensor(shape=(None,), dtype=tf.float64),
'min_of_stream_length_normalized_term_frequency_title': Tensor(shape=(None,), dtype=tf.float64),
'min_of_stream_length_normalized_term_frequency_url': Tensor(shape=(None,), dtype=tf.float64),
'min_of_stream_length_normalized_term_frequency_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'min_of_term_frequency_anchor': Tensor(shape=(None,), dtype=tf.float64),
'min_of_term_frequency_body': Tensor(shape=(None,), dtype=tf.float64),
'min_of_term_frequency_title': Tensor(shape=(None,), dtype=tf.float64),
'min_of_term_frequency_url': Tensor(shape=(None,), dtype=tf.float64),
'min_of_term_frequency_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'min_of_tf_idf_anchor': Tensor(shape=(None,), dtype=tf.float64),
'min_of_tf_idf_body': Tensor(shape=(None,), dtype=tf.float64),
'min_of_tf_idf_title': Tensor(shape=(None,), dtype=tf.float64),
'min_of_tf_idf_url': Tensor(shape=(None,), dtype=tf.float64),
'min_of_tf_idf_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'number_of_slash_in_url': Tensor(shape=(None,), dtype=tf.float64),
'outlink_number': Tensor(shape=(None,), dtype=tf.float64),
'page_rank': Tensor(shape=(None,), dtype=tf.float64),
'quality_score': Tensor(shape=(None,), dtype=tf.float64),
'quality_score_2': Tensor(shape=(None,), dtype=tf.float64),
'query_url_click_count': Tensor(shape=(None,), dtype=tf.float64),
'site_rank': Tensor(shape=(None,), dtype=tf.float64),
'stream_length_anchor': Tensor(shape=(None,), dtype=tf.float64),
'stream_length_body': Tensor(shape=(None,), dtype=tf.float64),
'stream_length_title': Tensor(shape=(None,), dtype=tf.float64),
'stream_length_url': Tensor(shape=(None,), dtype=tf.float64),
'stream_length_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'sum_of_stream_length_normalized_term_frequency_anchor': Tensor(shape=(None,), dtype=tf.float64),
'sum_of_stream_length_normalized_term_frequency_body': Tensor(shape=(None,), dtype=tf.float64),
'sum_of_stream_length_normalized_term_frequency_title': Tensor(shape=(None,), dtype=tf.float64),
'sum_of_stream_length_normalized_term_frequency_url': Tensor(shape=(None,), dtype=tf.float64),
'sum_of_stream_length_normalized_term_frequency_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'sum_of_term_frequency_anchor': Tensor(shape=(None,), dtype=tf.float64),
'sum_of_term_frequency_body': Tensor(shape=(None,), dtype=tf.float64),
'sum_of_term_frequency_title': Tensor(shape=(None,), dtype=tf.float64),
'sum_of_term_frequency_url': Tensor(shape=(None,), dtype=tf.float64),
'sum_of_term_frequency_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'sum_of_tf_idf_anchor': Tensor(shape=(None,), dtype=tf.float64),
'sum_of_tf_idf_body': Tensor(shape=(None,), dtype=tf.float64),
'sum_of_tf_idf_title': Tensor(shape=(None,), dtype=tf.float64),
'sum_of_tf_idf_url': Tensor(shape=(None,), dtype=tf.float64),
'sum_of_tf_idf_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'url_click_count': Tensor(shape=(None,), dtype=tf.float64),
'url_dwell_time': Tensor(shape=(None,), dtype=tf.float64),
'variance_of_stream_length_normalized_term_frequency_anchor': Tensor(shape=(None,), dtype=tf.float64),
'variance_of_stream_length_normalized_term_frequency_body': Tensor(shape=(None,), dtype=tf.float64),
'variance_of_stream_length_normalized_term_frequency_title': Tensor(shape=(None,), dtype=tf.float64),
'variance_of_stream_length_normalized_term_frequency_url': Tensor(shape=(None,), dtype=tf.float64),
'variance_of_stream_length_normalized_term_frequency_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'variance_of_term_frequency_anchor': Tensor(shape=(None,), dtype=tf.float64),
'variance_of_term_frequency_body': Tensor(shape=(None,), dtype=tf.float64),
'variance_of_term_frequency_title': Tensor(shape=(None,), dtype=tf.float64),
'variance_of_term_frequency_url': Tensor(shape=(None,), dtype=tf.float64),
'variance_of_term_frequency_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'variance_of_tf_idf_anchor': Tensor(shape=(None,), dtype=tf.float64),
'variance_of_tf_idf_body': Tensor(shape=(None,), dtype=tf.float64),
'variance_of_tf_idf_title': Tensor(shape=(None,), dtype=tf.float64),
'variance_of_tf_idf_url': Tensor(shape=(None,), dtype=tf.float64),
'variance_of_tf_idf_whole_document': Tensor(shape=(None,), dtype=tf.float64),
'vector_space_model_anchor': Tensor(shape=(None,), dtype=tf.float64),
'vector_space_model_body': Tensor(shape=(None,), dtype=tf.float64),
'vector_space_model_title': Tensor(shape=(None,), dtype=tf.float64),
'vector_space_model_url': Tensor(shape=(None,), dtype=tf.float64),
'vector_space_model_whole_document': Tensor(shape=(None,), dtype=tf.float64),
})
Ключи под наблюдением (см . документ
as_supervised
):None
Рисунок ( tfds.show_examples ): не поддерживается.
Цитата :
@article{DBLP:journals/corr/QinL13,
author = {Tao Qin and Tie{-}Yan Liu},
title = {Introducing {LETOR} 4.0 Datasets},
journal = {CoRR},
volume = {abs/1306.2597},
year = {2013},
url = {http://arxiv.org/abs/1306.2597},
timestamp = {Mon, 01 Jul 2013 20:31:25 +0200},
biburl = {http://dblp.uni-trier.de/rec/bib/journals/corr/QinL13},
bibsource = {dblp computer science bibliography, http://dblp.org}
}
mslr_web/10k_fold1 (конфигурация по умолчанию)
Размер загрузки :
1.15 GiB
Размер набора данных :
381.58 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'test' | 2000 |
'train' | 6000 |
'vali' | 2000 |
- Примеры ( tfds.as_dataframe ):
mslr_web/10k_fold2
Размер загрузки :
1.15 GiB
Размер набора данных :
381.58 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'test' | 2000 |
'train' | 6000 |
'vali' | 2000 |
- Примеры ( tfds.as_dataframe ):
mslr_web/10k_fold3
Размер загрузки :
1.15 GiB
Размер набора данных :
381.58 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'test' | 2000 |
'train' | 6000 |
'vali' | 2000 |
- Примеры ( tfds.as_dataframe ):
mslr_web/10k_fold4
Размер загрузки :
1.15 GiB
Размер набора данных :
381.58 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'test' | 2000 |
'train' | 6000 |
'vali' | 2000 |
- Примеры ( tfds.as_dataframe ):
mslr_web/10k_fold5
Размер загрузки :
1.15 GiB
Размер набора данных :
381.58 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'test' | 2000 |
'train' | 6000 |
'vali' | 2000 |
- Примеры ( tfds.as_dataframe ):
mslr_web/30k_fold1
Размер загрузки :
3.59 GiB
Размер набора данных :
1.17 GiB
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 6306 |
'train' | 18 919 |
'vali' | 6306 |
- Примеры ( tfds.as_dataframe ):
mslr_web/30k_fold2
Размер загрузки :
3.59 GiB
Размер набора данных :
1.17 GiB
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 6307 |
'train' | 18 918 |
'vali' | 6306 |
- Примеры ( tfds.as_dataframe ):
mslr_web/30k_fold3
Размер загрузки :
3.59 GiB
Размер набора данных :
1.17 GiB
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 6306 |
'train' | 18 918 |
'vali' | 6307 |
- Примеры ( tfds.as_dataframe ):
mslr_web/30k_fold4
Размер загрузки :
3.59 GiB
Размер набора данных :
1.17 GiB
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 6306 |
'train' | 18 919 |
'vali' | 6306 |
- Примеры ( tfds.as_dataframe ):
mslr_web/30k_fold5
Размер загрузки :
3.59 GiB
Размер набора данных :
1.17 GiB
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 6306 |
'train' | 18 919 |
'vali' | 6306 |
- Примеры ( tfds.as_dataframe ):