צֶפֶּלִין

  • תיאור :

BLiMP הוא אתגר להערכת מה מודלים של שפה (LMs) יודעים על תופעות דקדוקיות עיקריות באנגלית. BLiMP מורכב מ-67 תת-ערכות נתונים, שכל אחת מהן מכילה 1000 זוגות מינימליים המבודדים ניגודים ספציפיים בתחביר, מורפולוגיה או סמנטיקה. הנתונים נוצרים אוטומטית על פי דקדוקים שנעשו על ידי מומחה.

לְפַצֵל דוגמאות
'train' 1,000
  • מבנה תכונה :
FeaturesDict({
    'UID': Text(shape=(), dtype=tf.string),
    'field': Text(shape=(), dtype=tf.string),
    'lexically_identical': tf.bool,
    'linguistics_term': Text(shape=(), dtype=tf.string),
    'one_prefix_method': tf.bool,
    'pair_id': tf.int32,
    'sentence_bad': Text(shape=(), dtype=tf.string),
    'sentence_good': Text(shape=(), dtype=tf.string),
    'simple_LM_method': tf.bool,
    'two_prefix_method': tf.bool,
})
  • תיעוד תכונה :
תכונה מעמד צוּרָה Dtype תיאור
FeaturesDict
UID טֶקסט tf.string
שדה טֶקסט tf.string
מבחינה מילונית_זהה מוֹתֵחַ tf.bool
מונח_בלשנות טֶקסט tf.string
one_prefix_method מוֹתֵחַ tf.bool
pair_id מוֹתֵחַ tf.int32
משפט_רע טֶקסט tf.string
משפט_טוב טֶקסט tf.string
פשוט_LM_שיטה מוֹתֵחַ tf.bool
two_prefix_method מוֹתֵחַ tf.bool
@article{warstadt2019blimp,
  title={BLiMP: A Benchmark of Linguistic Minimal Pairs for English},
  author={Warstadt, Alex and Parrish, Alicia and Liu, Haokun and Mohananey, Anhad and Peng, Wei, and Wang, Sheng-Fu and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1912.00582},
  year={2019}
}

blimp/adjunct_island (תצורת ברירת המחדל)

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה adjunct_island.

  • גודל הורדה : 350.86 KiB

  • גודל מערך נתונים : 366.47 KiB

blimp/anaphor_gender_agreement

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה anaphor_gender_agreement.

  • גודל הורדה : 426.51 KiB

  • גודל ערכת נתונים: 332.31 KiB

blimp/anaphor_number_agreement

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה anaphor_number_agreement.

  • גודל הורדה : 440.29 KiB

  • גודל מערך נתונים : 341.07 KiB

blimp/animate_subject_passive

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה animate_subject_passive.

  • גודל הורדה : 451.46 KiB

  • גודל מערך נתונים : 345.50 KiB

blimp/animate_subject_trans

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה animate_subject_trans.

  • גודל הורדה : 422.95 KiB

  • גודל מערך נתונים : 329.27 KiB

בלימפ/סיבתי

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה הסיבתית.

  • גודל הורדה : 309.73 KiB

  • גודל מערך נתונים : 324.36 KiB

blimp/complex_NP_island

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה complex_NP_island.

  • גודל הורדה : 383.17 KiB

  • גודל מערך נתונים : 398.78 KiB

blimp/coordinate_structure_constraint_complex_left_branch

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה coordinate_structure_constraint_complex_left_branch.

  • גודל הורדה : 558.30 KiB

  • גודל מערך נתונים : 410.43 KiB

blimp/coordinate_structure_constraint_object_extraction

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה coordinate_structure_constraint_object_extraction.

  • גודל הורדה : 357.47 KiB

  • גודל מערך נתונים : 372.10 KiB

blimp/determiner_noun_agreement_1

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה determiner_noun_agreement_1.

  • גודל הורדה : 457.66 KiB

  • גודל מערך נתונים : 356.93 KiB

blimp/determiner_noun_agreement_2

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה determiner_noun_agreement_2.

  • גודל הורדה : 477.40 KiB

  • גודל מערך נתונים : 357.01 KiB

blimp/determiner_noun_agreement_irregular_1

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה קובעת_שם_הסכם_אירגון_1.

  • גודל הורדה : 463.80 KiB

  • גודל מערך נתונים : 365.08 KiB

blimp/determiner_noun_agreement_irregular_2

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה קובעת_שם_הסכם_הסכם_בלתי-רגיל_2.

  • גודל הורדה : 479.35 KiB

  • גודל ערכת נתונים: 361.76 KiB

blimp/determiner_noun_agreement_with_adj_2

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה קובעת_שם_הסכם_עם_adj_2.

  • גודל הורדה : 514.46 KiB

  • גודל מערך נתונים : 379.92 KiB

blimp/determiner_noun_agreement_with_adj_irregular_1

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה קובעת_שם_שם_הסכם_עם_adj_irregular_1.

  • גודל הורדה : 487.95 KiB

  • גודל מערך נתונים : 384.67 KiB

blimp/determiner_noun_agreement_with_adj_irregular_2

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה קובעת_שם_הסכם_עם_adj_irregular_2.

  • גודל הורדה : 516.14 KiB

  • גודל מערך נתונים : 384.54 KiB

blimp/determiner_noun_agreement_with_adjective_1

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה קובעת_שם_שם_הסכם_עם_תואר_1.

  • גודל הורדה : 492.85 KiB

  • גודל מערך נתונים : 385.25 KiB

בלימפ/שם_שם_יחס_יחסי_מסיח

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה distractor_agreement_relational_noun.

  • גודל הורדה : 513.33 KiB

  • גודל מערך נתונים : 391.45 KiB

בלימפ/סעיף_יחסי_מסיח

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה distractor_agreement_relative_clause.

  • גודל הורדה : 551.53 KiB

  • גודל ערכת נתונים: 416.14 KiB

blimp/drop_argument

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה drop_argument.

  • גודל הורדה : 297.07 KiB

  • גודל מערך נתונים : 311.70 KiB

blimp/ellipsis_n_bar_1

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה ellipsis_n_bar_1.

  • גודל הורדה : 402.32 KiB

  • גודל מערך נתונים : 417.06 KiB

blimp/ellipsis_n_bar_2

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה ellipsis_n_bar_2.

  • גודל הורדה : 417.53 KiB

  • גודל מערך נתונים : 432.47 KiB

blimp/existential_there_raising

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה existential_there_object_raising.

  • גודל הורדה : 537.77 KiB

  • גודל מערך נתונים : 423.00 KiB

blimp/existential_there_quantifiers_1

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה existential_there_quantifiers_1.

  • גודל הורדה : 348.95 KiB

  • גודל מערך נתונים : 363.58 KiB

blimp/existential_there_quantifiers_2

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה existential_there_quantifiers_2.

  • גודל הורדה : 350.80 KiB

  • גודל מערך נתונים : 365.43 KiB

blimp/existential_there_subject_raising

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה existential_there_subject_raising.

  • גודל הורדה : 385.21 KiB

  • גודל מערך נתונים : 399.84 KiB

blimp/expletive_it_object_raising

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה expletive_it_object_raising.

  • גודל הורדה : 573.88 KiB

  • גודל מערך נתונים : 437.58 KiB

בלימפ/אינכואטיבי

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה אינכואטיבית.

  • גודל הורדה : 291.71 KiB

  • גודל מערך נתונים : 306.34 KiB

בלימפ/בלתי טרנזיטיבי

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה אינטרנזיטיבית.

  • גודל הורדה : 298.33 KiB

  • גודל מערך נתונים : 312.96 KiB

בלימפ / שמות_תאר_חלקי עבר לא סדירים

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה irregular_past_participle_adjectives.

  • גודל הורדה : 434.10 KiB

  • גודל מערך נתונים : 345.74 KiB

בלימפ/פעלים_חלק_עבר לא סדירים

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה irregular_past_participle_verbs.

  • גודל הורדה : 410.27 KiB

  • גודל מערך נתונים : 327.21 KiB

blimp/irregular_plural_subject_verb_agreement_1

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה irregular_plural_subject_verb_agreement_1.

  • גודל הורדה : 449.91 KiB

  • גודל ערכת נתונים: 366.17 KiB

blimp/irregular_plural_subject_verb_agreement_2

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה irregular_plural_subject_verb_agreement_2.

  • גודל הורדה : 442.75 KiB

  • גודל מערך נתונים : 354.70 KiB

blimp/left_branch_island_echo_question

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה left_branch_island_echo_question.

  • גודל הורדה : 471.31 KiB

  • גודל מערך נתונים : 348.84 KiB

blimp/left_branch_island_simple_question

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה left_branch_island_simple_question.

  • גודל הורדה : 335.40 KiB

  • גודל ערכת נתונים: 351.01 KiB

blimp/matrix_question_npi_licensor_present

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה matrix_question_npi_licensor_present.

  • גודל הורדה : 447.08 KiB

  • גודל מערך נתונים : 354.14 KiB

blimp/npi_present_1

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה npi_present_1.

  • גודל הורדה : 427.75 KiB

  • גודל מערך נתונים : 339.68 KiB

blimp/npi_present_2

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה npi_present_2.

  • גודל הורדה : 412.24 KiB

  • גודל מערך נתונים : 329.11 KiB

blimp/only_npi_licensor_present

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה only_npi_licensor_present.

  • גודל הורדה : 448.41 KiB

  • גודל מערך נתונים : 349.50 KiB

blimp/only_npi_scope

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה only_npi_scope.

  • גודל הורדה : 570.04 KiB

  • גודל מערך נתונים : 408.52 KiB

blimp/passive_1

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה passive_1.

  • גודל הורדה : 332.30 KiB

  • גודל ערכת נתונים: 346.93 KiB

blimp/passive_2

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה passive_2.

  • גודל הורדה : 301.12 KiB

  • גודל מערך נתונים : 315.75 KiB

blimp/principle_A_c_command

  • תיאור תצורה : תצורה זו כוללת את עקרון הפרדיגמה_A_c_command.

  • גודל הורדה : 515.32 KiB

  • גודל מערך נתונים : 388.54 KiB

blimp/principle_A_case_1

  • תיאור תצורה : תצורה זו כוללת את עקרון הפרדיגמה_A_case_1.

  • גודל הורדה : 466.05 KiB

  • גודל מערך נתונים : 370.87 KiB

blimp/principle_A_case_2

  • תיאור תצורה : תצורה זו כוללת את עקרון הפרדיגמה_A_case_2.

  • גודל הורדה : 481.42 KiB

  • גודל מערך נתונים : 370.88 KiB

blimp/principle_A_domain_1

  • תיאור תצורה : תצורה זו כוללת את עקרון הפרדיגמה_A_domain_1.

  • גודל הורדה : 488.15 KiB

  • גודל ערכת נתונים: 371.62 KiB

blimp/principle_A_domain_2

  • תיאור תצורה : תצורה זו כוללת את עקרון הפרדיגמה_A_domain_2.

  • גודל הורדה : 481.63 KiB

  • גודל מערך נתונים : 365.92 KiB

blimp/principle_A_domain_3

  • תיאור תצורה : תצורה זו כוללת את עקרון הפרדיגמה_A_domain_3.

  • גודל הורדה : 501.84 KiB

  • גודל מערך נתונים : 359.74 KiB

blimp/principle_A_reconstruction

  • תיאור תצורה : תצורה זו כוללת את עקרון הפרדיגמה_A_reconstruction.

  • גודל הורדה : 337.40 KiB

  • גודל מערך נתונים : 353.00 KiB

blimp/regular_plural_subject_verb_agreement_1

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה regular_plural_subject_verb_agreement_1.

  • גודל הורדה : 441.26 KiB

  • גודל מערך נתונים : 359.56 KiB

blimp/regular_plural_subject_verb_agreement_2

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה regular_plural_subject_verb_agreement_2.

  • גודל הורדה : 445.78 KiB

  • גודל מערך נתונים : 354.47 KiB

blimp/sentential_negation_npi_licensor_present

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה sentential_negation_npi_licensor_present.

  • גודל הורדה : 479.49 KiB

  • גודל מערך נתונים : 372.30 KiB

blimp/sentential_negation_npi_scope

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה sentential_negation_npi_scope.

  • גודל הורדה : 600.52 KiB

  • גודל מערך נתונים : 431.18 KiB

blimp/sentential_subject_island

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה sentential_subject_island.

  • גודל הורדה : 357.25 KiB

  • גודל מערך נתונים : 372.86 KiB

blimp/superlative_quantifiers_1

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה superlative_quantifiers_1.

  • גודל הורדה : 372.25 KiB

  • גודל מערך נתונים : 360.02 KiB

blimp/superlative_quantifiers_2

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה superlative_quantifiers_2.

  • גודל הורדה : 504.02 KiB

  • גודל מערך נתונים : 360.07 KiB

blimp/tough_vs_raising_1

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה tough_vs_raising_1.

  • גודל הורדה : 334.99 KiB

  • גודל מערך נתונים : 349.62 KiB

blimp/tough_vs_raising_2

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה tough_vs_raising_2.

  • גודל הורדה : 355.54 KiB

  • גודל מערך נתונים : 370.17 KiB

בלימפ/טרנזיטיבי

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה טרנזיטיבית.

  • גודל הורדה : 449.50 KiB

  • גודל מערך נתונים : 334.45 KiB

blimp/wh_island

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה wh_island.

  • גודל הורדה : 438.12 KiB

  • גודל מערך נתונים : 343.47 KiB

blimp/wh_questions_object_gap

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה wh_questions_object_gap.

  • גודל הורדה : 378.35 KiB

  • גודל ערכת נתונים: 392.99 KiB

blimp/wh_questions_subject_gap

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה wh_questions_subject_gap.

  • גודל הורדה : 380.84 KiB

  • גודל ערכת נתונים: 395.47 KiB

blimp/wh_questions_subject_gap_long_distance

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה wh_questions_subject_gap_long_distance.

  • גודל הורדה : 451.82 KiB

  • גודל מערך נתונים : 466.53 KiB

blimp/wh_vs_that_no_gap

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה wh_vs_that_no_gap.

  • גודל הורדה : 374.28 KiB

  • גודל מערך נתונים : 388.91 KiB

blimp/wh_vs_that_no_gap_long_distance

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה wh_vs_that_no_gap_long_distance.

  • גודל הורדה : 431.08 KiB

  • גודל מערך נתונים : 445.74 KiB

blimp/wh_vs_that_with_gap

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה wh_vs_that_with_gap.

  • גודל הורדה : 359.16 KiB

  • גודל מערך נתונים : 373.79 KiB

blimp/wh_vs_that_with_gap_long_distance

  • תיאור תצורה : תצורה זו כוללת את הפרדיגמה wh_vs_that_with_gap_long_distance.

  • גודל הורדה : 416.00 KiB

  • גודל מערך נתונים : 430.63 KiB