- תיאור :
BLiMP הוא אתגר להערכת מה מודלים של שפה (LMs) יודעים על תופעות דקדוקיות עיקריות באנגלית. BLiMP מורכב מ-67 ערכות משנה, שכל אחת מהן מכילה 1000 זוגות מינימליים המבודדים ניגודים ספציפיים בתחביר, מורפולוגיה או סמנטיקה. הנתונים נוצרים אוטומטית על פי דקדוקים שנעשו על ידי מומחה.
תיעוד נוסף : חקור על ניירות עם קוד
דף הבית : https://github.com/alexwarstadt/blimp/tree/master/
קוד מקור :
tfds.datasets.blimp.Builder
גרסאות :
-
0.1.0
(ברירת מחדל): אין הערות שחרור.
-
שמור אוטומטי במטמון ( תיעוד ): כן
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 1,000 |
- מבנה תכונה :
FeaturesDict({
'UID': Text(shape=(), dtype=string),
'field': Text(shape=(), dtype=string),
'lexically_identical': bool,
'linguistics_term': Text(shape=(), dtype=string),
'one_prefix_method': bool,
'pair_id': int32,
'sentence_bad': Text(shape=(), dtype=string),
'sentence_good': Text(shape=(), dtype=string),
'simple_LM_method': bool,
'two_prefix_method': bool,
})
- תיעוד תכונה :
תכונה | מעמד | צוּרָה | Dtype | תיאור |
---|---|---|---|---|
FeaturesDict | ||||
UID | טֶקסט | חוּט | ||
שדה | טֶקסט | חוּט | ||
מבחינה מילונית_זהה | מוֹתֵחַ | bool | ||
מונח_בלשנות | טֶקסט | חוּט | ||
one_prefix_method | מוֹתֵחַ | bool | ||
pair_id | מוֹתֵחַ | int32 | ||
משפט_רע | טֶקסט | חוּט | ||
משפט_טוב | טֶקסט | חוּט | ||
פשוט_LM_שיטה | מוֹתֵחַ | bool | ||
two_prefix_method | מוֹתֵחַ | bool |
מפתחות בפיקוח (ראה
as_supervised
doc ):None
איור ( tfds.show_examples ): לא נתמך.
ציטוט :
@article{warstadt2019blimp,
title={BLiMP: A Benchmark of Linguistic Minimal Pairs for English},
author={Warstadt, Alex and Parrish, Alicia and Liu, Haokun and Mohananey, Anhad and Peng, Wei, and Wang, Sheng-Fu and Bowman, Samuel R},
journal={arXiv preprint arXiv:1912.00582},
year={2019}
}
blimp/adjunct_island (תצורת ברירת המחדל)
תיאור תצורה : תצורה זו כוללת את הפרדיגמה adjunct_island.
גודל הורדה :
350.86 KiB
גודל ערכת נתונים:
366.47 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/anaphor_gender_agreement
תיאור תצורה : תצורה זו כוללת את הפרדיגמה anaphor_gender_agreement.
גודל הורדה :
426.51 KiB
גודל מערך נתונים :
332.31 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/anaphor_number_agreement
תיאור תצורה : תצורה זו כוללת את הפרדיגמה anaphor_number_agreement.
גודל הורדה :
440.29 KiB
גודל מערך נתונים :
341.07 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/animate_subject_passive
תיאור תצורה : תצורה זו כוללת את הפרדיגמה animate_subject_passive.
גודל הורדה :
451.46 KiB
גודל מערך נתונים :
345.50 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/animate_subject_trans
תיאור תצורה : תצורה זו כוללת את הפרדיגמה animate_subject_trans.
גודל הורדה :
422.95 KiB
גודל מערך נתונים :
329.27 KiB
דוגמאות ( tfds.as_dataframe ):
בלימפ/סיבתי
תיאור תצורה : תצורה זו כוללת את הפרדיגמה הסיבתית.
גודל הורדה :
309.73 KiB
גודל ערכת נתונים:
324.36 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/complex_NP_island
תיאור תצורה : תצורה זו כוללת את הפרדיגמה complex_NP_island.
גודל הורדה :
383.17 KiB
גודל מערך נתונים :
398.78 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/coordinate_structure_constraint_complex_left_branch
תיאור תצורה : תצורה זו כוללת את הפרדיגמה coordinate_structure_constraint_complex_left_branch.
גודל הורדה :
558.30 KiB
גודל ערכת נתונים:
410.43 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/coordinate_structure_constraint_object_extraction
תיאור תצורה : תצורה זו כוללת את הפרדיגמה coordinate_structure_constraint_object_extraction.
גודל הורדה :
357.47 KiB
גודל מערך נתונים :
372.10 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_1
תיאור תצורה : תצורה זו כוללת את הפרדיגמה determiner_noun_agreement_1.
גודל הורדה :
457.66 KiB
גודל מערך נתונים :
356.93 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_2
תיאור תצורה : תצורה זו כוללת את הפרדיגמה determiner_noun_agreement_2.
גודל הורדה :
477.40 KiB
גודל מערך נתונים :
357.01 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_irregular_1
תיאור תצורה : תצורה זו כוללת את הפרדיגמה קובעת_שם_הסכם_אירגון_1.
גודל הורדה :
463.80 KiB
גודל מערך נתונים :
365.08 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_irregular_2
תיאור תצורה : תצורה זו כוללת את הפרדיגמה determiner_noun_agreement_irregular_2.
גודל הורדה :
479.35 KiB
גודל מערך נתונים :
361.76 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_with_adj_2
תיאור תצורה : תצורה זו כוללת את הפרדיגמה קובעת_שם_הסכם_עם_adj_2.
גודל הורדה :
514.46 KiB
גודל מערך נתונים :
379.92 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_with_adj_irregular_1
תיאור תצורה : תצורה זו כוללת את הפרדיגמה קובעת_שם_שם_הסכם_עם_adj_irregular_1.
גודל הורדה :
487.95 KiB
גודל מערך נתונים :
384.67 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_with_adj_irregular_2
תיאור תצורה : תצורה זו כוללת את הפרדיגמה קובעת_שם_הסכם_עם_adj_irregular_2.
גודל הורדה :
516.14 KiB
גודל מערך נתונים :
384.54 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_with_adjective_1
תיאור תצורה : תצורה זו כוללת את הפרדיגמה קובעת_שם_שם_הסכם_עם_תואר_1.
גודל הורדה :
492.85 KiB
גודל מערך נתונים :
385.25 KiB
דוגמאות ( tfds.as_dataframe ):
בלימפ/שם_שם_יחס_יחסי_מסיח
תיאור תצורה : תצורה זו כוללת את הפרדיגמה distractor_agreement_relational_noun.
גודל הורדה :
513.33 KiB
גודל מערך נתונים :
391.45 KiB
דוגמאות ( tfds.as_dataframe ):
בלימפ/סעיף_יחסי_מסיח
תיאור תצורה : תצורה זו כוללת את הפרדיגמה distractor_agreement_relative_clause.
גודל הורדה :
551.53 KiB
גודל ערכת נתונים:
416.14 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/drop_argument
תיאור תצורה : תצורה זו כוללת את הפרדיגמה drop_argument.
גודל הורדה :
297.07 KiB
גודל מערך נתונים :
311.70 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/ellipsis_n_bar_1
תיאור תצורה : תצורה זו כוללת את הפרדיגמה ellipsis_n_bar_1.
גודל הורדה :
402.32 KiB
גודל מערך נתונים :
417.06 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/ellipsis_n_bar_2
תיאור תצורה : תצורה זו כוללת את הפרדיגמה ellipsis_n_bar_2.
גודל הורדה :
417.53 KiB
גודל מערך נתונים :
432.47 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/existential_there_object_raising
תיאור תצורה : תצורה זו כוללת את הפרדיגמה existential_there_object_raising.
גודל הורדה :
537.77 KiB
גודל מערך נתונים :
423.00 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/existential_there_quantifiers_1
תיאור תצורה : תצורה זו כוללת את הפרדיגמה existential_there_quantifiers_1.
גודל הורדה :
348.95 KiB
גודל מערך נתונים :
363.58 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/existential_there_quantifiers_2
תיאור תצורה : תצורה זו כוללת את הפרדיגמה existential_there_quantifiers_2.
גודל הורדה :
350.80 KiB
גודל מערך נתונים :
365.43 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/existential_there_subject_raising
תיאור תצורה : תצורה זו כוללת את הפרדיגמה existential_there_subject_raising.
גודל הורדה :
385.21 KiB
גודל מערך נתונים :
399.84 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/expletive_it_object_raising
תיאור תצורה : תצורה זו כוללת את הפרדיגמה expletive_it_object_raising.
גודל הורדה :
573.88 KiB
גודל מערך נתונים :
437.58 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/inchoative
תיאור תצורה : תצורה זו כוללת את הפרדיגמה אינכואטיבית.
גודל הורדה :
291.71 KiB
גודל מערך נתונים :
306.34 KiB
דוגמאות ( tfds.as_dataframe ):
בלימפ/בלתי טרנזיטיבי
תיאור תצורה : תצורה זו כוללת את הפרדיגמה אינטרנזיטיבית.
גודל הורדה :
298.33 KiB
גודל מערך נתונים :
312.96 KiB
דוגמאות ( tfds.as_dataframe ):
בלימפ / שמות_תאר_חלק_עבר לא רגילים
תיאור תצורה : תצורה זו כוללת את הפרדיגמה irregular_past_participle_adjectives.
גודל הורדה :
434.10 KiB
גודל מערך נתונים :
345.74 KiB
דוגמאות ( tfds.as_dataframe ):
בלימפ/פעלים_חלק_עבר לא סדירים
תיאור תצורה : תצורה זו כוללת את הפרדיגמה irregular_past_participle_verbs.
גודל הורדה :
410.27 KiB
גודל מערך נתונים :
327.21 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/irregular_plural_subject_verb_agreement_1
תיאור תצורה : תצורה זו כוללת את הפרדיגמה irregular_plural_subject_verb_agreement_1.
גודל הורדה :
449.91 KiB
גודל מערך נתונים :
366.17 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/irregular_plural_subject_verb_agreement_2
תיאור תצורה : תצורה זו כוללת את הפרדיגמה irregular_plural_subject_verb_agreement_2.
גודל הורדה :
442.75 KiB
גודל מערך נתונים :
354.70 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/left_branch_island_echo_question
תיאור תצורה : תצורה זו כוללת את הפרדיגמה left_branch_island_echo_question.
גודל הורדה :
471.31 KiB
גודל מערך נתונים :
348.84 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/left_branch_island_simple_question
תיאור תצורה : תצורה זו כוללת את הפרדיגמה left_branch_island_simple_question.
גודל הורדה :
335.40 KiB
גודל מערך נתונים :
351.01 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/matrix_question_npi_licensor_present
תיאור תצורה : תצורה זו כוללת את הפרדיגמה matrix_question_npi_licensor_present.
גודל הורדה :
447.08 KiB
גודל ערכת נתונים:
354.14 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/npi_present_1
תיאור תצורה : תצורה זו כוללת את הפרדיגמה npi_present_1.
גודל הורדה :
427.75 KiB
גודל מערך נתונים :
339.68 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/npi_present_2
תיאור תצורה : תצורה זו כוללת את הפרדיגמה npi_present_2.
גודל הורדה :
412.24 KiB
גודל מערך נתונים :
329.11 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/only_npi_licensor_present
תיאור תצורה : תצורה זו כוללת את הפרדיגמה only_npi_licensor_present.
גודל הורדה :
448.41 KiB
גודל מערך נתונים :
349.50 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/only_npi_scope
תיאור תצורה : תצורה זו כוללת את הפרדיגמה only_npi_scope.
גודל הורדה :
570.04 KiB
גודל ערכת נתונים:
408.52 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/passive_1
תיאור תצורה : תצורה זו כוללת את הפרדיגמה passive_1.
גודל הורדה :
332.30 KiB
גודל מערך נתונים :
346.93 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/passive_2
תיאור תצורה : תצורה זו כוללת את הפרדיגמה passive_2.
גודל הורדה :
301.12 KiB
גודל מערך נתונים :
315.75 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/principle_A_c_command
תיאור תצורה : תצורה זו כוללת את עקרון הפרדיגמה_A_c_command.
גודל הורדה :
515.32 KiB
גודל מערך נתונים :
388.54 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/principle_A_case_1
תיאור תצורה : תצורה זו כוללת את עקרון הפרדיגמה_A_case_1.
גודל הורדה :
466.05 KiB
גודל מערך נתונים :
370.87 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/principle_A_case_2
תיאור תצורה : תצורה זו כוללת את עקרון הפרדיגמה_A_case_2.
גודל הורדה :
481.42 KiB
גודל מערך נתונים :
370.88 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/principle_A_domain_1
תיאור תצורה : תצורה זו כוללת את עקרון הפרדיגמה_A_domain_1.
גודל הורדה :
488.15 KiB
גודל מערך נתונים :
371.62 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/principle_A_domain_2
תיאור תצורה : תצורה זו כוללת את עקרון הפרדיגמה_A_domain_2.
גודל הורדה :
481.63 KiB
גודל מערך נתונים :
365.92 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/principle_A_domain_3
תיאור תצורה : תצורה זו כוללת את עקרון הפרדיגמה_A_domain_3.
גודל הורדה :
501.84 KiB
גודל מערך נתונים :
359.74 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/principle_A_reconstruction
תיאור תצורה : תצורה זו כוללת את עקרון הפרדיגמה_A_reconstruction.
גודל הורדה :
337.40 KiB
גודל מערך נתונים :
353.00 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/regular_plural_subject_verb_agreement_1
תיאור תצורה : תצורה זו כוללת את הפרדיגמה regular_plural_subject_verb_agreement_1.
גודל הורדה :
441.26 KiB
גודל מערך נתונים :
359.56 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/regular_plural_subject_verb_agreement_2
תיאור תצורה : תצורה זו כוללת את הפרדיגמה regular_plural_subject_verb_agreement_2.
גודל הורדה :
445.78 KiB
גודל מערך נתונים :
354.47 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/sentential_negation_npi_licensor_present
תיאור תצורה : תצורה זו כוללת את הפרדיגמה sentential_negation_npi_licensor_present.
גודל הורדה :
479.49 KiB
גודל מערך נתונים :
372.30 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/sentential_negation_npi_scope
תיאור תצורה : תצורה זו כוללת את הפרדיגמה sentential_negation_npi_scope.
גודל הורדה :
600.52 KiB
גודל מערך נתונים :
431.18 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/sentential_subject_island
תיאור תצורה : תצורה זו כוללת את הפרדיגמה sentential_subject_island.
גודל הורדה :
357.25 KiB
גודל מערך נתונים :
372.86 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/superlative_quantifiers_1
תיאור תצורה : תצורה זו כוללת את הפרדיגמה superlative_quantifiers_1.
גודל הורדה :
372.25 KiB
גודל מערך נתונים :
360.02 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/superlative_quantifiers_2
תיאור תצורה : תצורה זו כוללת את הפרדיגמה superlative_quantifiers_2.
גודל הורדה :
504.02 KiB
גודל ערכת נתונים:
360.07 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/tough_vs_raising_1
תיאור תצורה : תצורה זו כוללת את הפרדיגמה tough_vs_raising_1.
גודל הורדה :
334.99 KiB
גודל מערך נתונים :
349.62 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/tough_vs_raising_2
תיאור תצורה : תצורה זו כוללת את הפרדיגמה tough_vs_raising_2.
גודל הורדה :
355.54 KiB
גודל מערך נתונים :
370.17 KiB
דוגמאות ( tfds.as_dataframe ):
בלימפ/טרנזיטיבי
תיאור תצורה : תצורה זו כוללת את הפרדיגמה טרנזיטיבית.
גודל הורדה :
449.50 KiB
גודל מערך נתונים :
334.45 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/wh_island
תיאור תצורה : תצורה זו כוללת את הפרדיגמה wh_island.
גודל הורדה :
438.12 KiB
גודל מערך נתונים :
343.47 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/wh_questions_object_gap
תיאור תצורה : תצורה זו כוללת את הפרדיגמה wh_questions_object_gap.
גודל הורדה :
378.35 KiB
גודל ערכת נתונים:
392.99 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/wh_questions_subject_gap
תיאור תצורה : תצורה זו כוללת את הפרדיגמה wh_questions_subject_gap.
גודל הורדה :
380.84 KiB
גודל מערך נתונים :
395.47 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/wh_questions_subject_gap_long_distance
תיאור תצורה : תצורה זו כוללת את הפרדיגמה wh_questions_subject_gap_long_distance.
גודל הורדה :
451.82 KiB
גודל מערך נתונים :
466.53 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/wh_vs_that_no_gap
תיאור תצורה : תצורה זו כוללת את הפרדיגמה wh_vs_that_no_gap.
גודל הורדה :
374.28 KiB
גודל מערך נתונים :
388.91 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/wh_vs_that_no_gap_long_distance
תיאור תצורה : תצורה זו כוללת את הפרדיגמה wh_vs_that_no_gap_long_distance.
גודל הורדה :
431.08 KiB
גודל מערך נתונים :
445.74 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/wh_vs_that_with_gap
תיאור תצורה : תצורה זו כוללת את הפרדיגמה wh_vs_that_with_gap.
גודל הורדה :
359.16 KiB
גודל מערך נתונים :
373.79 KiB
דוגמאות ( tfds.as_dataframe ):
blimp/wh_vs_that_with_gap_long_distance
תיאור תצורה : תצורה זו כוללת את הפרדיגמה wh_vs_that_with_gap_long_distance.
גודל הורדה :
416.00 KiB
גודל מערך נתונים :
430.63 KiB
דוגמאות ( tfds.as_dataframe ):