dirigeable

  • Descriptif :

BLiMP est un défi lancé pour évaluer ce que les modèles linguistiques (LM) connaissent des phénomènes grammaticaux majeurs en anglais. BLiMP se compose de 67 sous-ensembles de données, chacun contenant 1000 paires minimales isolant des contrastes spécifiques dans la syntaxe, la morphologie ou la sémantique. Les données sont générées automatiquement selon des grammaires élaborées par des experts.

Diviser Exemples
'train' 1 000
  • Structure des fonctionnalités :
FeaturesDict({
    'UID': Text(shape=(), dtype=string),
    'field': Text(shape=(), dtype=string),
    'lexically_identical': bool,
    'linguistics_term': Text(shape=(), dtype=string),
    'one_prefix_method': bool,
    'pair_id': int32,
    'sentence_bad': Text(shape=(), dtype=string),
    'sentence_good': Text(shape=(), dtype=string),
    'simple_LM_method': bool,
    'two_prefix_method': bool,
})
  • Documentation des fonctionnalités :
Caractéristique Classer Forme Dtype La description
FonctionnalitésDict
UID Texte chaîne de caractères
champ Texte chaîne de caractères
lexicalement_identique Tenseur bourdonner
terme_linguistique Texte chaîne de caractères
one_prefix_method Tenseur bourdonner
pair_id Tenseur int32
phrase_mauvais Texte chaîne de caractères
phrase_bonne Texte chaîne de caractères
méthode_LM_simple Tenseur bourdonner
two_prefix_method Tenseur bourdonner
@article{warstadt2019blimp,
  title={BLiMP: A Benchmark of Linguistic Minimal Pairs for English},
  author={Warstadt, Alex and Parrish, Alicia and Liu, Haokun and Mohananey, Anhad and Peng, Wei, and Wang, Sheng-Fu and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1912.00582},
  year={2019}
}

dirigeable/adjunct_island (configuration par défaut)

  • Description de la configuration : Cette configuration inclut le paradigme adjunct_island.

  • Taille du téléchargement : 350.86 KiB

  • Taille du jeu de données : 366.47 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/anaphor_gender_agreement

  • Description de la configuration : Cette configuration inclut le paradigme anaphor_gender_agreement.

  • Taille du téléchargement : 426.51 KiB

  • Taille du jeu de données : 332.31 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/anaphor_number_agreement

  • Description de la configuration : Cette configuration inclut le paradigme anaphor_number_agreement.

  • Taille du téléchargement : 440.29 KiB

  • Taille du jeu de données : 341.07 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/animate_subject_passive

  • Description de la configuration : Cette configuration inclut le paradigme animate_subject_passive.

  • Taille du téléchargement : 451.46 KiB

  • Taille du jeu de données : 345.50 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/animate_subject_trans

  • Description de la configuration : Cette configuration inclut le paradigme animate_subject_trans.

  • Taille du téléchargement : 422.95 KiB

  • Taille du jeu de données : 329.27 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/causatif

  • Description de la configuration : Cette configuration inclut le paradigme causal.

  • Taille du téléchargement : 309.73 KiB

  • Taille du jeu de données : 324.36 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/complexe_NP_island

  • Description de la configuration : Cette configuration inclut le paradigme complex_NP_island.

  • Taille du téléchargement : 383.17 KiB

  • Taille du jeu de données : 398.78 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/coordinate_structure_constraint_complex_left_branch

  • Description de la configuration : Cette configuration inclut le paradigme coordinate_structure_constraint_complex_left_branch.

  • Taille du téléchargement : 558.30 KiB

  • Taille du jeu de données : 410.43 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/coordinate_structure_constraint_object_extraction

  • Description de la configuration : Cette configuration inclut le paradigme coordinate_structure_constraint_object_extraction.

  • Taille du téléchargement : 357.47 KiB

  • Taille du jeu de données : 372.10 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/determiner_noun_agreement_1

  • Description de la configuration : Cette configuration inclut le paradigme determiner_noun_agreement_1.

  • Taille du téléchargement : 457.66 KiB

  • Taille du jeu de données : 356.93 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/determiner_noun_agreement_2

  • Description de la configuration : Cette configuration inclut le paradigme determiner_noun_agreement_2.

  • Taille du téléchargement : 477.40 KiB

  • Taille du jeu de données : 357.01 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/determiner_noun_agreement_irregular_1

  • Description de la configuration : Cette configuration inclut le paradigme determiner_noun_agreement_irregular_1.

  • Taille du téléchargement : 463.80 KiB

  • Taille du jeu de données : 365.08 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/determiner_noun_agreement_irregular_2

  • Description de la configuration : Cette configuration inclut le paradigme determiner_noun_agreement_irregular_2.

  • Taille du téléchargement : 479.35 KiB

  • Taille du jeu de données : 361.76 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/determiner_noun_agreement_with_adj_2

  • Description de la configuration : Cette configuration inclut le paradigme determiner_noun_agreement_with_adj_2.

  • Taille du téléchargement : 514.46 KiB

  • Taille du jeu de données : 379.92 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/determiner_noun_agreement_with_adj_irregular_1

  • Description de la configuration : Cette configuration inclut le paradigme determiner_noun_agreement_with_adj_irregular_1.

  • Taille du téléchargement : 487.95 KiB

  • Taille du jeu de données : 384.67 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/determiner_noun_agreement_with_adj_irregular_2

  • Description de la configuration : Cette configuration inclut le paradigme determiner_noun_agreement_with_adj_irregular_2.

  • Taille du téléchargement : 516.14 KiB

  • Taille du jeu de données : 384.54 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/determiner_noun_agreement_with_adjective_1

  • Description de la configuration : Cette configuration inclut le paradigme determiner_noun_agreement_with_adjective_1.

  • Taille du téléchargement : 492.85 KiB

  • Taille du jeu de données : 385.25 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/distractor_agreement_relational_noun

  • Description de la configuration : Cette configuration inclut le paradigme distractor_agreement_relational_noun.

  • Taille du téléchargement : 513.33 KiB

  • Taille du jeu de données : 391.45 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/distractor_agreement_relative_clause

  • Description de la configuration : Cette configuration inclut le paradigme distractor_agreement_relative_clause.

  • Taille du téléchargement : 551.53 KiB

  • Taille du jeu de données : 416.14 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/drop_argument

  • Description de la configuration : Cette configuration inclut le paradigme drop_argument.

  • Taille du téléchargement : 297.07 KiB

  • Taille du jeu de données : 311.70 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/points de suspension_n_bar_1

  • Description de la configuration : Cette configuration inclut le paradigme ellipsis_n_bar_1.

  • Taille du téléchargement : 402.32 KiB

  • Taille du jeu de données : 417.06 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/points de suspension_n_bar_2

  • Description de la configuration : Cette configuration inclut le paradigme ellipsis_n_bar_2.

  • Taille du téléchargement : 417.53 KiB

  • Taille du jeu de données : 432.47 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/existential_there_object_raising

  • Description de la configuration : Cette configuration inclut le paradigme existential_there_object_raising.

  • Taille du téléchargement : 537.77 KiB

  • Taille du jeu de données : 423.00 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/existential_there_quantifiers_1

  • Description de la configuration : Cette configuration inclut le paradigme existential_there_quantifiers_1.

  • Taille du téléchargement : 348.95 KiB

  • Taille du jeu de données : 363.58 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/existential_there_quantifiers_2

  • Description de la configuration : Cette configuration inclut le paradigme existential_there_quantifiers_2.

  • Taille du téléchargement : 350.80 KiB

  • Taille du jeu de données : 365.43 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/existential_there_subject_raising

  • Description de la configuration : Cette configuration inclut le paradigme existential_there_subject_raising.

  • Taille du téléchargement : 385.21 KiB

  • Taille du jeu de données : 399.84 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/expletive_it_object_raising

  • Description de la configuration : Cette configuration inclut le paradigme expletive_it_object_raising.

  • Taille du téléchargement : 573.88 KiB

  • Taille du jeu de données : 437.58 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/inchoatif

  • Description de la configuration : Cette configuration inclut le paradigme inchoative.

  • Taille du téléchargement : 291.71 KiB

  • Taille du jeu de données : 306.34 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/intransitif

  • Description de la configuration : Cette configuration inclut le paradigme intransitif.

  • Taille du téléchargement : 298.33 KiB

  • Taille du jeu de données : 312.96 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/irregular_past_participle_adjectives

  • Description de la configuration : Cette configuration inclut le paradigme irregulary_past_participle_adjectives.

  • Taille du téléchargement : 434.10 KiB

  • Taille du jeu de données : 345.74 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/irregular_past_participle_verbs

  • Description de la configuration : Cette configuration inclut le paradigme irregulary_past_participle_verbs.

  • Taille du téléchargement : 410.27 KiB

  • Taille du jeu de données : 327.21 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/irregular_plural_subject_verb_agreement_1

  • Description de la configuration : Cette configuration inclut le paradigme irrégulier_pluriel_sujet_verbe_accord_1.

  • Taille du téléchargement : 449.91 KiB

  • Taille du jeu de données : 366.17 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/irregular_plural_subject_verb_agreement_2

  • Description de la configuration : Cette configuration inclut le paradigme irrégulier_pluriel_sujet_verbe_accord_2.

  • Taille du téléchargement : 442.75 KiB

  • Taille du jeu de données : 354.70 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/left_branch_island_echo_question

  • Description de la configuration : Cette configuration inclut le paradigme left_branch_island_echo_question.

  • Taille du téléchargement : 471.31 KiB

  • Taille du jeu de données : 348.84 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/left_branch_island_simple_question

  • Description de la configuration : Cette configuration inclut le paradigme left_branch_island_simple_question.

  • Taille du téléchargement : 335.40 KiB

  • Taille du jeu de données : 351.01 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/matrix_question_npi_licensor_present

  • Description de la configuration : Cette configuration inclut le paradigme matrix_question_npi_licensor_present.

  • Taille du téléchargement : 447.08 KiB

  • Taille du jeu de données : 354.14 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/npi_present_1

  • Description de la configuration : Cette configuration inclut le paradigme npi_present_1.

  • Taille du téléchargement : 427.75 KiB

  • Taille du jeu de données : 339.68 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/npi_present_2

  • Description de la configuration : Cette configuration inclut le paradigme npi_present_2.

  • Taille du téléchargement : 412.24 KiB

  • Taille du jeu de données : 329.11 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/only_npi_licensor_present

  • Description de la configuration : Cette configuration inclut le paradigme only_npi_licensor_present.

  • Taille du téléchargement : 448.41 KiB

  • Taille du jeu de données : 349.50 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/only_npi_scope

  • Description de la configuration : Cette configuration inclut le paradigme only_npi_scope.

  • Taille du téléchargement : 570.04 KiB

  • Taille du jeu de données : 408.52 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/passif_1

  • Description de la configuration : Cette configuration inclut le paradigme passive_1.

  • Taille du téléchargement : 332.30 KiB

  • Taille du jeu de données : 346.93 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/passif_2

  • Description de la configuration : Cette configuration inclut le paradigme passive_2.

  • Taille du téléchargement : 301.12 KiB

  • Taille du jeu de données : 315.75 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/principe_A_c_command

  • Description de la configuration : Cette configuration inclut le paradigme principe_A_c_commande.

  • Taille du téléchargement : 515.32 KiB

  • Taille du jeu de données : 388.54 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/principe_A_case_1

  • Description de la configuration : Cette configuration inclut le paradigme principe_A_cas_1.

  • Taille du téléchargement : 466.05 KiB

  • Taille du jeu de données : 370.87 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/principe_A_case_2

  • Description de la configuration : Cette configuration inclut le paradigme principe_A_cas_2.

  • Taille du téléchargement : 481.42 KiB

  • Taille du jeu de données : 370.88 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/principe_A_domain_1

  • Description de la configuration : Cette configuration inclut le paradigme principe_A_domaine_1.

  • Taille du téléchargement : 488.15 KiB

  • Taille du jeu de données : 371.62 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/principe_A_domain_2

  • Description de la configuration : Cette configuration inclut le paradigme principe_A_domaine_2.

  • Taille du téléchargement : 481.63 KiB

  • Taille du jeu de données : 365.92 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/principe_A_domain_3

  • Description de la configuration : Cette configuration inclut le paradigme principe_A_domaine_3.

  • Taille du téléchargement : 501.84 KiB

  • Taille du jeu de données : 359.74 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/principe_A_reconstruction

  • Description de la configuration : Cette configuration inclut le paradigme principe_A_reconstruction.

  • Taille du téléchargement : 337.40 KiB

  • Taille du jeu de données : 353.00 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/regular_plural_subject_verb_agreement_1

  • Description de la configuration : Cette configuration inclut le paradigme regular_plural_subject_verb_agreement_1.

  • Taille du téléchargement : 441.26 KiB

  • Taille du jeu de données : 359.56 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/regular_plural_subject_verb_agreement_2

  • Description de la configuration : Cette configuration inclut le paradigme regular_plural_subject_verb_agreement_2.

  • Taille du téléchargement : 445.78 KiB

  • Taille du jeu de données : 354.47 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/sentential_negation_npi_licensor_present

  • Description de la configuration : Cette configuration inclut le paradigme sentential_negation_npi_licensor_present.

  • Taille du téléchargement : 479.49 KiB

  • Taille du jeu de données : 372.30 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/sentential_negation_npi_scope

  • Description de la configuration : Cette configuration inclut le paradigme sentential_negation_npi_scope.

  • Taille du téléchargement : 600.52 KiB

  • Taille du jeu de données : 431.18 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/sentential_subject_island

  • Description de la configuration : Cette configuration inclut le paradigme sentential_subject_island.

  • Taille du téléchargement : 357.25 KiB

  • Taille du jeu de données : 372.86 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/superlative_quantifiers_1

  • Description de la configuration : Cette configuration inclut le paradigme superlative_quantifiers_1.

  • Taille du téléchargement : 372.25 KiB

  • Taille du jeu de données : 360.02 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/superlative_quantifiers_2

  • Description de la configuration : Cette configuration inclut le paradigme superlative_quantifiers_2.

  • Taille du téléchargement : 504.02 KiB

  • Taille du jeu de données : 360.07 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/tough_vs_raising_1

  • Description de la configuration : Cette configuration inclut le paradigme hard_vs_raising_1.

  • Taille du téléchargement : 334.99 KiB

  • Taille du jeu de données : 349.62 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/tough_vs_raising_2

  • Description de la configuration : Cette configuration inclut le paradigme hard_vs_raising_2.

  • Taille du téléchargement : 355.54 KiB

  • Taille du jeu de données : 370.17 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/transitif

  • Description de la configuration : Cette configuration inclut le paradigme transitif.

  • Taille du téléchargement : 449.50 KiB

  • Taille du jeu de données : 334.45 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/wh_island

  • Description de la configuration : Cette configuration inclut le paradigme wh_island.

  • Taille du téléchargement : 438.12 KiB

  • Taille du jeu de données : 343.47 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/wh_questions_object_gap

  • Description de la configuration : Cette configuration inclut le paradigme wh_questions_object_gap.

  • Taille du téléchargement : 378.35 KiB

  • Taille du jeu de données : 392.99 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/wh_questions_subject_gap

  • Description de la configuration : Cette configuration inclut le paradigme wh_questions_subject_gap.

  • Taille du téléchargement : 380.84 KiB

  • Taille du jeu de données : 395.47 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/wh_questions_subject_gap_long_distance

  • Description de la configuration : Cette configuration inclut le paradigme wh_questions_subject_gap_long_distance.

  • Taille du téléchargement : 451.82 KiB

  • Taille du jeu de données : 466.53 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/wh_vs_that_no_gap

  • Description de la configuration : Cette configuration inclut le paradigme wh_vs_that_no_gap.

  • Taille du téléchargement : 374.28 KiB

  • Taille du jeu de données : 388.91 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/wh_vs_that_no_gap_long_distance

  • Description de la configuration : Cette configuration inclut le paradigme wh_vs_that_no_gap_long_distance.

  • Taille du téléchargement : 431.08 KiB

  • Taille du jeu de données : 445.74 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/wh_vs_that_with_gap

  • Description de la configuration : Cette configuration inclut le paradigme wh_vs_that_with_gap.

  • Taille du téléchargement : 359.16 KiB

  • Taille du jeu de données : 373.79 KiB

  • Exemples ( tfds.as_dataframe ):

dirigeable/wh_vs_that_with_gap_long_distance

  • Description de la configuration : Cette configuration inclut le paradigme wh_vs_that_with_gap_long_distance.

  • Taille du téléchargement : 416.00 KiB

  • Taille du jeu de données : 430.63 KiB

  • Exemples ( tfds.as_dataframe ):