- Описание:
BLiMP представляет собой набор задач для оценки того, какие языковые модели (LM) знают об основных грамматических явлениях в английском языке. BLiMP состоит из 67 поднаборов данных, каждый из которых содержит 1000 минимальных пар, выделяющих определенные контрасты в синтаксисе, морфологии или семантике. Данные автоматически генерируются в соответствии с грамматикой, разработанной экспертами.
Домашняя страница: https://github.com/alexwarstadt/blimp/tree/master/
Исходный код:
tfds.text.Blimp
Версии:
-
0.1.0
( по умолчанию): Нет Замечания к выпуску.
-
Авто-кэшируются ( документация ): Да
расколы:
Расколоть | Примеры |
---|---|
'train' | 1,000 |
- Особенности:
FeaturesDict({
'UID': Text(shape=(), dtype=tf.string),
'field': Text(shape=(), dtype=tf.string),
'lexically_identical': tf.bool,
'linguistics_term': Text(shape=(), dtype=tf.string),
'one_prefix_method': tf.bool,
'pair_id': tf.int32,
'sentence_bad': Text(shape=(), dtype=tf.string),
'sentence_good': Text(shape=(), dtype=tf.string),
'simple_LM_method': tf.bool,
'two_prefix_method': tf.bool,
})
Контролируемые ключи (см
as_supervised
документ ):None
Рис ( tfds.show_examples ): Не поддерживается.
Образец цитирования:
@article{warstadt2019blimp,
title={BLiMP: A Benchmark of Linguistic Minimal Pairs for English},
author={Warstadt, Alex and Parrish, Alicia and Liu, Haokun and Mohananey, Anhad and Peng, Wei, and Wang, Sheng-Fu and Bowman, Samuel R},
journal={arXiv preprint arXiv:1912.00582},
year={2019}
}
blimp / adjunct_island (конфигурация по умолчанию)
Описание конфигурации: Эта конфигурация включает в себя парадигму adjunct_island.
Скачать Размер:
350.86 KiB
Dataset Размер:
366.47 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / anaphor_gender_agreement
Описание конфигурации: Эта конфигурация включает в себя парадигму anaphor_gender_agreement.
Скачать Размер:
426.51 KiB
Dataset Размер:
332.31 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / anaphor_number_agreement
Описание конфигурации: Эта конфигурация включает в себя парадигму anaphor_number_agreement.
Скачать Размер:
440.29 KiB
Dataset Размер:
341.07 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / animate_subject_passive
Описание конфигурации: Эта конфигурация включает в себя парадигму animate_subject_passive.
Скачать Размер:
451.46 KiB
Dataset Размер:
345.50 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / animate_subject_trans
Описание конфигурации: Эта конфигурация включает в себя парадигму animate_subject_trans.
Скачать Размер:
422.95 KiB
Dataset Размер:
329.27 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / причинный
Описание конфигурации: Эта конфигурация включает в себя парадигму каузатива.
Скачать Размер:
309.73 KiB
Dataset Размер:
324.36 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / комплекс_NP_island
Описание конфигурации: Эта конфигурация включает в себя парадигму complex_NP_island.
Скачать Размер:
383.17 KiB
Dataset Размер:
398.78 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / координатная_структура_ограничение_комплекса_левая_ветвь
Описание конфигурации: Эта конфигурация включает в себя парадигму coordinate_structure_constraint_complex_left_branch.
Скачать Размер:
558.30 KiB
Dataset Размер:
410.43 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / координата_структуры_ограничение_объекта_экстракция
Описание конфигурации: Эта конфигурация включает в себя парадигму coordinate_structure_constraint_object_extraction.
Скачать Размер:
357.47 KiB
Dataset Размер:
372.10 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / определитель_ существительное_ соглашение_1
Описание конфигурации: Эта конфигурация включает в себя парадигмы determiner_noun_agreement_1.
Скачать Размер:
457.66 KiB
Dataset Размер:
356.93 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / определитель_ существительное_ соглашение_2
Описание конфигурации: Эта конфигурация включает в себя парадигмы determiner_noun_agreement_2.
Скачать Размер:
477.40 KiB
Dataset Размер:
357.01 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / определитель_ существительное_ соглашение_irregular_1
Описание конфигурации: Эта конфигурация включает в себя парадигмы determiner_noun_agreement_irregular_1.
Скачать Размер:
463.80 KiB
Dataset Размер:
365.08 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / определитель_ существительное_ соглашение_irregular_2
Описание конфигурации: Эта конфигурация включает в себя парадигмы determiner_noun_agreement_irregular_2.
Скачать Размер:
479.35 KiB
Dataset Размер:
361.76 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / определитель_ существительное_ согласие_with_adj_2
Описание конфигурации: Эта конфигурация включает в себя парадигмы determiner_noun_agreement_with_adj_2.
Скачать Размер:
514.46 KiB
Dataset Размер:
379.92 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / определитель_ существительное_ согласие_with_adj_irregular_1
Описание конфигурации: Эта конфигурация включает в себя парадигмы determiner_noun_agreement_with_adj_irregular_1.
Скачать Размер:
487.95 KiB
Dataset Размер:
384.67 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / определитель_ существительное_ согласие_with_adj_irregular_2
Описание конфигурации: Эта конфигурация включает в себя парадигмы determiner_noun_agreement_with_adj_irregular_2.
Скачать Размер:
516.14 KiB
Dataset Размер:
384.54 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / определитель_ существительное_ согласие_with_adjective_1
Описание конфигурации: Эта конфигурация включает в себя парадигмы determiner_noun_agreement_with_adjective_1.
Скачать Размер:
492.85 KiB
Dataset Размер:
385.25 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / distractor_agreement_relational_noun
Описание конфигурации: Эта конфигурация включает в себя парадигму distractor_agreement_relational_noun.
Скачать Размер:
513.33 KiB
Dataset Размер:
391.45 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / distractor_agreement_relative_clause
Описание конфигурации: Эта конфигурация включает в себя парадигму distractor_agreement_relative_clause.
Скачать Размер:
551.53 KiB
Dataset Размер:
416.14 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / drop_argument
Описание конфигурации: Эта конфигурация включает в себя парадигму drop_argument.
Скачать Размер:
297.07 KiB
Dataset Размер:
311.70 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / ellipsis_n_bar_1
Описание конфигурации: Эта конфигурация включает в себя парадигмы ellipsis_n_bar_1.
Скачать Размер:
402.32 KiB
Dataset Размер:
417.06 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / многоточие_n_bar_2
Описание конфигурации: Эта конфигурация включает в себя парадигмы ellipsis_n_bar_2.
Скачать Размер:
417.53 KiB
Dataset Размер:
432.47 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / existential_there_object_raising
Описание конфигурации: Эта конфигурация включает в себя парадигму existential_there_object_raising.
Скачать Размер:
537.77 KiB
Dataset Размер:
423.00 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / existential_there_quantifiers_1
Описание конфигурации: Эта конфигурация включает в себя парадигмы existential_there_quantifiers_1.
Скачать Размер:
348.95 KiB
Dataset Размер:
363.58 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / existential_there_quantifiers_2
Описание конфигурации: Эта конфигурация включает в себя парадигмы existential_there_quantifiers_2.
Скачать Размер:
350.80 KiB
Dataset Размер:
365.43 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / existential_there_subject_raising
Описание конфигурации: Эта конфигурация включает в себя парадигму existential_there_subject_raising.
Скачать Размер:
385.21 KiB
Dataset Размер:
399.84 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / expletive_it_object_raising
Описание конфигурации: Эта конфигурация включает в себя парадигму expletive_it_object_raising.
Скачать Размер:
573.88 KiB
Dataset Размер:
437.58 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / зародыш
Описание конфигурации: Эта конфигурация включает в себя парадигмы начинательной.
Скачать Размер:
291.71 KiB
Dataset Размер:
306.34 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / непереходный
Описание конфигурации: Эта конфигурация включает в себя парадигму непереходной.
Скачать Размер:
298.33 KiB
Dataset Размер:
312.96 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / irregular_past_participle_adjectives
Описание конфигурации: Эта конфигурация включает в себя парадигму irregular_past_participle_adjectives.
Скачать Размер:
434.10 KiB
Dataset Размер:
345.74 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / irregular_past_participle_verbs
Описание конфигурации: Эта конфигурация включает в себя парадигму irregular_past_participle_verbs.
Скачать Размер:
410.27 KiB
Dataset Размер:
327.21 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / irregular_plural_subject_verb_agreement_1
Описание конфигурации: Эта конфигурация включает в себя парадигмы irregular_plural_subject_verb_agreement_1.
Скачать Размер:
449.91 KiB
Dataset Размер:
366.17 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / irregular_plural_subject_verb_agreement_2
Описание конфигурации: Эта конфигурация включает в себя парадигмы irregular_plural_subject_verb_agreement_2.
Скачать Размер:
442.75 KiB
Dataset Размер:
354.70 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / left_branch_island_echo_question
Описание конфигурации: Эта конфигурация включает в себя парадигму left_branch_island_echo_question.
Скачать Размер:
471.31 KiB
Dataset Размер:
348.84 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / left_branch_island_simple_question
Описание конфигурации: Эта конфигурация включает в себя парадигму left_branch_island_simple_question.
Скачать Размер:
335.40 KiB
Dataset Размер:
351.01 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / matrix_question_npi_licensor_present
Описание конфигурации: Эта конфигурация включает в себя парадигму matrix_question_npi_licensor_present.
Скачать Размер:
447.08 KiB
Dataset Размер:
354.14 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / npi_present_1
Описание конфигурации: Эта конфигурация включает в себя парадигмы npi_present_1.
Скачать Размер:
427.75 KiB
Dataset Размер:
339.68 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / npi_present_2
Описание конфигурации: Эта конфигурация включает в себя парадигмы npi_present_2.
Скачать Размер:
412.24 KiB
Dataset Размер:
329.11 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / only_npi_licensor_present
Описание конфигурации: Эта конфигурация включает в себя парадигму only_npi_licensor_present.
Скачать Размер:
448.41 KiB
Dataset Размер:
349.50 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / only_npi_scope
Описание конфигурации: Эта конфигурация включает в себя парадигму only_npi_scope.
Скачать Размер:
570.04 KiB
Dataset Размер:
408.52 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / пассив_1
Описание конфигурации: Эта конфигурация включает в себя парадигмы passive_1.
Скачать Размер:
332.30 KiB
Dataset Размер:
346.93 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / пассив_2
Описание конфигурации: Эта конфигурация включает в себя парадигмы passive_2.
Скачать Размер:
301.12 KiB
Dataset Размер:
315.75 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / принцип_A_c_command
Описание конфигурации: Эта конфигурация включает в себя парадигму principle_A_c_command.
Скачать Размер:
515.32 KiB
Dataset Размер:
388.54 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / принцип_A_case_1
Описание конфигурации: Эта конфигурация включает в себя парадигму principle_A_case_1.
Скачать Размер:
466.05 KiB
Dataset Размер:
370.87 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / принцип_A_case_2
Описание конфигурации: Эта конфигурация включает в себя парадигму principle_A_case_2.
Скачать Размер:
481.42 KiB
Dataset Размер:
370.88 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / принцип_A_domain_1
Описание конфигурации: Эта конфигурация включает в себя парадигму principle_A_domain_1.
Скачать Размер:
488.15 KiB
Dataset Размер:
371.62 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / принцип_А_домен_2
Описание конфигурации: Эта конфигурация включает в себя парадигму principle_A_domain_2.
Скачать Размер:
481.63 KiB
Dataset Размер:
365.92 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / принцип_A_domain_3
Описание конфигурации: Эта конфигурация включает в себя парадигму principle_A_domain_3.
Скачать Размер:
501.84 KiB
Dataset Размер:
359.74 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / Princip_A_reconstruction
Описание конфигурации: Эта конфигурация включает в себя парадигму principle_A_reconstruction.
Скачать Размер:
337.40 KiB
Dataset Размер:
353.00 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / regular_plural_subject_verb_agreement_1
Описание конфигурации: Эта конфигурация включает в себя парадигмы regular_plural_subject_verb_agreement_1.
Скачать Размер:
441.26 KiB
Dataset Размер:
359.56 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / регулярное_пользовательское_предметное_говорное_агримент_2
Описание конфигурации: Эта конфигурация включает в себя парадигмы regular_plural_subject_verb_agreement_2.
Скачать Размер:
445.78 KiB
Dataset Размер:
354.47 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / sentential_negation_npi_licensor_present
Описание конфигурации: Эта конфигурация включает в себя парадигму sentential_negation_npi_licensor_present.
Скачать Размер:
479.49 KiB
Dataset Размер:
372.30 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / sentential_negation_npi_scope
Описание конфигурации: Эта конфигурация включает в себя парадигму sentential_negation_npi_scope.
Скачать Размер:
600.52 KiB
Dataset Размер:
431.18 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / sentential_subject_island
Описание конфигурации: Эта конфигурация включает в себя парадигму sentential_subject_island.
Скачать Размер:
357.25 KiB
Dataset Размер:
372.86 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / superlative_quantifiers_1
Описание конфигурации: Эта конфигурация включает в себя парадигмы superlative_quantifiers_1.
Скачать Размер:
372.25 KiB
Dataset Размер:
360.02 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / superlative_quantifiers_2
Описание конфигурации: Эта конфигурация включает в себя парадигмы superlative_quantifiers_2.
Скачать Размер:
504.02 KiB
Dataset Размер:
360.07 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / tough_vs_raising_1
Описание конфигурации: Эта конфигурация включает в себя парадигмы tough_vs_raising_1.
Скачать Размер:
334.99 KiB
Dataset Размер:
349.62 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / tough_vs_raising_2
Описание конфигурации: Эта конфигурация включает в себя парадигмы tough_vs_raising_2.
Скачать Размер:
355.54 KiB
Dataset Размер:
370.17 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / переходный
Описание конфигурации: Эта конфигурация включает в себя парадигму переходной.
Скачать Размер:
449.50 KiB
Dataset Размер:
334.45 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / wh_island
Описание конфигурации: Эта конфигурация включает в себя парадигму wh_island.
Скачать Размер:
438.12 KiB
Dataset Размер:
343.47 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / wh_questions_object_gap
Описание конфигурации: Эта конфигурация включает в себя парадигму wh_questions_object_gap.
Скачать Размер:
378.35 KiB
Dataset Размер:
392.99 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / wh_questions_subject_gap
Описание конфигурации: Эта конфигурация включает в себя парадигму wh_questions_subject_gap.
Скачать Размер:
380.84 KiB
Dataset Размер:
395.47 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / wh_questions_subject_gap_long_distance
Описание конфигурации: Эта конфигурация включает в себя парадигму wh_questions_subject_gap_long_distance.
Скачать Размер:
451.82 KiB
Dataset Размер:
466.53 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / wh_vs_that_no_gap
Описание конфигурации: Эта конфигурация включает в себя парадигму wh_vs_that_no_gap.
Скачать Размер:
374.28 KiB
Dataset Размер:
388.91 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / wh_vs_that_no_gap_long_distance
Описание конфигурации: Эта конфигурация включает в себя парадигму wh_vs_that_no_gap_long_distance.
Скачать Размер:
431.08 KiB
Dataset Размер:
445.74 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / wh_vs_that_with_gap
Описание конфигурации: Эта конфигурация включает в себя парадигму wh_vs_that_with_gap.
Скачать Размер:
359.16 KiB
Dataset Размер:
373.79 KiB
Примеры ( tfds.as_dataframe ):
дирижабль / wh_vs_that_with_gap_long_distance
Описание конфигурации: Эта конфигурация включает в себя парадигму wh_vs_that_with_gap_long_distance.
Скачать Размер:
416.00 KiB
Dataset Размер:
430.63 KiB
Примеры ( tfds.as_dataframe ):