dirigible

  • Descripción :

BLiMP es un conjunto de desafíos para evaluar qué modelos de lenguaje (LM) saben sobre los principales fenómenos gramaticales en inglés. BLiMP consta de 67 subconjuntos de datos, cada uno de los cuales contiene 1000 pares mínimos que aíslan contrastes específicos en sintaxis, morfología o semántica. Los datos se generan automáticamente de acuerdo con gramáticas elaboradas por expertos.

Separar Ejemplos
'train' 1,000
  • Estructura de características :
FeaturesDict({
    'UID': Text(shape=(), dtype=tf.string),
    'field': Text(shape=(), dtype=tf.string),
    'lexically_identical': tf.bool,
    'linguistics_term': Text(shape=(), dtype=tf.string),
    'one_prefix_method': tf.bool,
    'pair_id': tf.int32,
    'sentence_bad': Text(shape=(), dtype=tf.string),
    'sentence_good': Text(shape=(), dtype=tf.string),
    'simple_LM_method': tf.bool,
    'two_prefix_method': tf.bool,
})
  • Documentación de características :
Rasgo Clase Forma Tipo D Descripción
CaracterísticasDict
UID Texto tf.cadena
campo Texto tf.cadena
léxicamente_idéntico Tensor tf.bool
término_lingüístico Texto tf.cadena
un_prefijo_método Tensor tf.bool
par_id Tensor tf.int32
sentencia_mala Texto tf.cadena
frase_buena Texto tf.cadena
método_LM_simple Tensor tf.bool
método_dos_prefijos Tensor tf.bool
@article{warstadt2019blimp,
  title={BLiMP: A Benchmark of Linguistic Minimal Pairs for English},
  author={Warstadt, Alex and Parrish, Alicia and Liu, Haokun and Mohananey, Anhad and Peng, Wei, and Wang, Sheng-Fu and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1912.00582},
  year={2019}
}

dirigible no rígido/adjunct_island (configuración predeterminada)

  • Descripción de la configuración : esta configuración incluye el paradigma adjunct_island.

  • Tamaño de la descarga : 350.86 KiB

  • Tamaño del conjunto de datos : 366.47 KiB

dirigible no rígido/anaphor_gender_agreement

  • Descripción de la configuración : esta configuración incluye el paradigma anaphor_gender_agreement.

  • Tamaño de la descarga : 426.51 KiB

  • Tamaño del conjunto de datos : 332.31 KiB

dirigible no rígido/anaphor_number_agreement

  • Descripción de la configuración : esta configuración incluye el paradigma anaphor_number_agreement.

  • Tamaño de la descarga : 440.29 KiB

  • Tamaño del conjunto de datos : 341.07 KiB

dirigible no rígido/animar_sujeto_pasivo

  • Descripción de la configuración : esta configuración incluye el paradigma animate_subject_passive.

  • Tamaño de la descarga : 451.46 KiB

  • Tamaño del conjunto de datos : 345.50 KiB

dirigible no rígido/animate_subject_trans

  • Descripción de la configuración : esta configuración incluye el paradigma animate_subject_trans.

  • Tamaño de la descarga : 422.95 KiB

  • Tamaño del conjunto de datos : 329.27 KiB

dirigible no rígido/causante

  • Descripción de la configuración : esta configuración incluye el causativo del paradigma.

  • Tamaño de la descarga : 309.73 KiB

  • Tamaño del conjunto de datos : 324.36 KiB

dirigible no rígido/complex_NP_island

  • Descripción de la configuración : esta configuración incluye el paradigma complex_NP_island.

  • Tamaño de la descarga : 383.17 KiB

  • Tamaño del conjunto de datos : 398.78 KiB

dirigible no rígido/estructura_coordenada_restricción_complejo_rama_izquierda

  • Descripción de la configuración : esta configuración incluye el paradigma coordina_structure_constraint_complex_left_branch.

  • Tamaño de la descarga : 558.30 KiB

  • Tamaño del conjunto de datos : 410.43 KiB

dirigible no rígido/estructura_coordinada_restricción_objeto_extracción

  • Descripción de la configuración : esta configuración incluye el paradigma coordina_structure_constraint_object_extraction.

  • Tamaño de la descarga : 357.47 KiB

  • Tamaño del conjunto de datos : 372.10 KiB

dirigible no rígido/determinante_sustantivo_acuerdo_1

  • Descripción de la configuración : esta configuración incluye el paradigma determiner_noun_agreement_1.

  • Tamaño de la descarga : 457.66 KiB

  • Tamaño del conjunto de datos : 356.93 KiB

dirigible no rígido/determinante_sustantivo_acuerdo_2

  • Descripción de la configuración : esta configuración incluye el paradigma determiner_noun_agreement_2.

  • Tamaño de la descarga : 477.40 KiB

  • Tamaño del conjunto de datos : 357.01 KiB

dirigible no rígido/determinante_sustantivo_acuerdo_irregular_1

  • Descripción de la configuración : esta configuración incluye el paradigma determiner_noun_agreement_irregular_1.

  • Tamaño de la descarga : 463.80 KiB

  • Tamaño del conjunto de datos : 365.08 KiB

dirigible no rígido/determinante_sustantivo_acuerdo_irregular_2

  • Descripción de la configuración : esta configuración incluye el paradigma determiner_noun_agreement_irregular_2.

  • Tamaño de la descarga : 479.35 KiB

  • Tamaño del conjunto de datos : 361.76 KiB

dirigible no rígido/determinante_sustantivo_acuerdo_con_adj_2

  • Descripción de la configuración : esta configuración incluye el paradigma determiner_noun_agreement_with_adj_2.

  • Tamaño de la descarga : 514.46 KiB

  • Tamaño del conjunto de datos : 379.92 KiB

dirigible no rígido/determinante_sustantivo_acuerdo_con_adj_irregular_1

  • Descripción de la configuración : esta configuración incluye el paradigma determiner_noun_agreement_with_adj_irregular_1.

  • Tamaño de la descarga : 487.95 KiB

  • Tamaño del conjunto de datos : 384.67 KiB

dirigible no rígido/determinante_sustantivo_acuerdo_con_adj_irregular_2

  • Descripción de la configuración : esta configuración incluye el paradigma determiner_noun_agreement_with_adj_irregular_2.

  • Tamaño de la descarga : 516.14 KiB

  • Tamaño del conjunto de datos : 384.54 KiB

dirigible no rígido/determinante_sustantivo_acuerdo_con_adjetivo_1

  • Descripción de la configuración : esta configuración incluye el paradigma determiner_noun_agreement_with_adjective_1.

  • Tamaño de la descarga : 492.85 KiB

  • Tamaño del conjunto de datos : 385.25 KiB

dirigible/distractor_agreement_relational_noun

  • Descripción de la configuración : esta configuración incluye el paradigma distractor_agreement_relational_noun.

  • Tamaño de la descarga : 513.33 KiB

  • Tamaño del conjunto de datos : 391.45 KiB

dirigible no rígido/distractor_agreement_relative_clause

  • Descripción de la configuración : esta configuración incluye el paradigma distractor_agreement_relative_clause.

  • Tamaño de la descarga : 551.53 KiB

  • Tamaño del conjunto de datos : 416.14 KiB

dirigible no rígido/drop_argument

  • Descripción de la configuración : esta configuración incluye el paradigma drop_argument.

  • Tamaño de la descarga : 297.07 KiB

  • Tamaño del conjunto de datos : 311.70 KiB

dirigible no rígido/elipsis_n_bar_1

  • Descripción de la configuración : esta configuración incluye el paradigma ellipsis_n_bar_1.

  • Tamaño de la descarga : 402.32 KiB

  • Tamaño del conjunto de datos : 417.06 KiB

dirigible no rígido/elipsis_n_bar_2

  • Descripción de la configuración : esta configuración incluye el paradigma ellipsis_n_bar_2.

  • Tamaño de la descarga : 417.53 KiB

  • Tamaño del conjunto de datos : 432.47 KiB

dirigible no rígido/existencial_allí_objeto_levantamiento

  • Descripción de la configuración : esta configuración incluye el paradigma existencial_there_object_raising.

  • Tamaño de la descarga : 537.77 KiB

  • Tamaño del conjunto de datos : 423.00 KiB

dirigible/existencial_hay_cuantificadores_1

  • Descripción de la configuración : esta configuración incluye el paradigma existencial_there_quantifiers_1.

  • Tamaño de la descarga : 348.95 KiB

  • Tamaño del conjunto de datos : 363.58 KiB

dirigible/existencial_hay_cuantificadores_2

  • Descripción de la configuración : esta configuración incluye el paradigma existencial_there_quantifiers_2.

  • Tamaño de la descarga : 350.80 KiB

  • Tamaño del conjunto de datos : 365.43 KiB

dirigible/existencial_allí_sujeto_levantamiento

  • Descripción de la configuración : esta configuración incluye el paradigma existencial_there_subject_raising.

  • Tamaño de la descarga : 385.21 KiB

  • Tamaño del conjunto de datos : 399.84 KiB

dirigible dirigible/improperio_es_objeto_levantando

  • Descripción de la configuración : esta configuración incluye el paradigma expletive_it_object_raising.

  • Tamaño de la descarga : 573.88 KiB

  • Tamaño del conjunto de datos : 437.58 KiB

dirigible no rígido/incoativo

  • Descripción de la configuración : esta configuración incluye el paradigma inchoativo.

  • Tamaño de la descarga : 291.71 KiB

  • Tamaño del conjunto de datos : 306.34 KiB

dirigible no rígido/intransitivo

  • Descripción de la configuración : esta configuración incluye el paradigma intransitivo.

  • Tamaño de la descarga : 298.33 KiB

  • Tamaño del conjunto de datos : 312.96 KiB

dirigible no rígido/irregular_past_participle_adjectives

  • Descripción de la configuración : esta configuración incluye el paradigma irregular_past_participle_adjectives.

  • Tamaño de la descarga : 434.10 KiB

  • Tamaño del conjunto de datos : 345.74 KiB

dirigible no rígido/irregular_past_participle_verbs

  • Descripción de la configuración : esta configuración incluye el paradigma irregular_past_participle_verbs.

  • Tamaño de la descarga : 410.27 KiB

  • Tamaño del conjunto de datos : 327.21 KiB

dirigible no rígido/irregular_plural_subject_verb_agreement_1

  • Descripción de la configuración : esta configuración incluye el paradigma irregular_plural_subject_verb_agreement_1.

  • Tamaño de la descarga : 449.91 KiB

  • Tamaño del conjunto de datos : 366.17 KiB

dirigible no rígido/irregular_plural_subject_verb_agreement_2

  • Descripción de la configuración : esta configuración incluye el paradigma irregular_plural_subject_verb_agreement_2.

  • Tamaño de la descarga : 442.75 KiB

  • Tamaño del conjunto de datos : 354.70 KiB

dirigible no rígido/left_branch_island_echo_question

  • Descripción de la configuración : esta configuración incluye el paradigma left_branch_island_echo_question.

  • Tamaño de la descarga : 471.31 KiB

  • Tamaño del conjunto de datos : 348.84 KiB

dirigible no rígido/left_branch_island_simple_question

  • Descripción de la configuración : esta configuración incluye el paradigma left_branch_island_simple_question.

  • Tamaño de la descarga : 335.40 KiB

  • Tamaño del conjunto de datos : 351.01 KiB

dirigible no rígido/matrix_question_npi_licensor_present

  • Descripción de la configuración : esta configuración incluye el paradigma matrix_question_npi_licensor_present.

  • Tamaño de la descarga : 447.08 KiB

  • Tamaño del conjunto de datos : 354.14 KiB

dirigible no rígido/npi_present_1

  • Descripción de la configuración : esta configuración incluye el paradigma npi_present_1.

  • Tamaño de la descarga : 427.75 KiB

  • Tamaño del conjunto de datos : 339.68 KiB

dirigible no rígido/npi_present_2

  • Descripción de la configuración : esta configuración incluye el paradigma npi_present_2.

  • Tamaño de la descarga : 412.24 KiB

  • Tamaño del conjunto de datos : 329.11 KiB

dirigible no rígido/only_npi_licensor_present

  • Descripción de la configuración : esta configuración incluye el paradigma only_npi_licensor_present.

  • Tamaño de la descarga : 448.41 KiB

  • Tamaño del conjunto de datos : 349.50 KiB

dirigible no rígido/only_npi_scope

  • Descripción de la configuración : esta configuración incluye el paradigma only_npi_scope.

  • Tamaño de la descarga : 570.04 KiB

  • Tamaño del conjunto de datos : 408.52 KiB

dirigible no rígido/pasivo_1

  • Descripción de la configuración : esta configuración incluye el paradigma pasivo_1.

  • Tamaño de la descarga : 332.30 KiB

  • Tamaño del conjunto de datos : 346.93 KiB

dirigible no rígido/passive_2

  • Descripción de la configuración : esta configuración incluye el paradigma pasivo_2.

  • Tamaño de la descarga : 301.12 KiB

  • Tamaño del conjunto de datos : 315.75 KiB

dirigible no rígido/principio_A_c_comando

  • Descripción de la configuración : esta configuración incluye el principio del paradigma_A_c_command.

  • Tamaño de la descarga : 515.32 KiB

  • Tamaño del conjunto de datos : 388.54 KiB

dirigible no rígido/principio_A_caso_1

  • Descripción de la configuración : esta configuración incluye el paradigma principio_A_caso_1.

  • Tamaño de la descarga : 466.05 KiB

  • Tamaño del conjunto de datos : 370.87 KiB

dirigible no rígido/principio_A_caso_2

  • Descripción de la configuración : esta configuración incluye el paradigma principio_A_caso_2.

  • Tamaño de la descarga : 481.42 KiB

  • Tamaño del conjunto de datos : 370.88 KiB

dirigible no rígido/principio_A_dominio_1

  • Descripción de la configuración : esta configuración incluye el principio de paradigma_A_domain_1.

  • Tamaño de la descarga : 488.15 KiB

  • Tamaño del conjunto de datos : 371.62 KiB

dirigible no rígido/principio_A_dominio_2

  • Descripción de la configuración : esta configuración incluye el paradigma principio_A_dominio_2.

  • Tamaño de la descarga : 481.63 KiB

  • Tamaño del conjunto de datos : 365.92 KiB

dirigible no rígido/principio_A_dominio_3

  • Descripción de la configuración : esta configuración incluye el principio de paradigma_A_domain_3.

  • Tamaño de la descarga : 501.84 KiB

  • Tamaño del conjunto de datos : 359.74 KiB

dirigible no rígido/principio_A_reconstrucción

  • Descripción de la configuración : esta configuración incluye el paradigma principio_A_reconstrucción.

  • Tamaño de la descarga : 337.40 KiB

  • Tamaño del conjunto de datos : 353.00 KiB

dirigible no rígido/regular_plural_sujeto_verbo_acuerdo_1

  • Descripción de la configuración : esta configuración incluye el paradigma regular_plural_subject_verb_agreement_1.

  • Tamaño de la descarga : 441.26 KiB

  • Tamaño del conjunto de datos : 359.56 KiB

dirigible no rígido/regular_plural_sujeto_verbo_acuerdo_2

  • Descripción de la configuración : esta configuración incluye el paradigma regular_plural_subject_verb_agreement_2.

  • Tamaño de la descarga : 445.78 KiB

  • Tamaño del conjunto de datos : 354.47 KiB

dirigible no rígido/sentential_negation_npi_licensor_present

  • Descripción de la configuración : esta configuración incluye el paradigma sentential_negation_npi_licensor_present.

  • Tamaño de la descarga : 479.49 KiB

  • Tamaño del conjunto de datos : 372.30 KiB

dirigible/sentential_negation_npi_scope

  • Descripción de la configuración : esta configuración incluye el paradigma sentential_negation_npi_scope.

  • Tamaño de la descarga : 600.52 KiB

  • Tamaño del conjunto de datos : 431.18 KiB

dirigible no rígido/sentential_subject_island

  • Descripción de la configuración : esta configuración incluye el paradigma sentential_subject_island.

  • Tamaño de la descarga : 357.25 KiB

  • Tamaño del conjunto de datos : 372.86 KiB

dirigible no rígido/superlative_quantifiers_1

  • Descripción de la configuración : esta configuración incluye el paradigma superlative_quantifiers_1.

  • Tamaño de la descarga : 372.25 KiB

  • Tamaño del conjunto de datos : 360.02 KiB

dirigible no rígido/superlative_quantifiers_2

  • Descripción de la configuración : esta configuración incluye el paradigma superlative_quantifiers_2.

  • Tamaño de la descarga : 504.02 KiB

  • Tamaño del conjunto de datos : 360.07 KiB

dirigible no rígido/tough_vs_raising_1

  • Descripción de la configuración : esta configuración incluye el paradigmaough_vs_raising_1.

  • Tamaño de la descarga : 334.99 KiB

  • Tamaño del conjunto de datos : 349.62 KiB

dirigible no rígido/difícil_contra_elevación_2

  • Descripción de la configuración : esta configuración incluye el paradigmaough_vs_raising_2.

  • Tamaño de la descarga : 355.54 KiB

  • Tamaño del conjunto de datos : 370.17 KiB

dirigible no rígido/transitivo

  • Descripción de la configuración : esta configuración incluye el paradigma transitivo.

  • Tamaño de la descarga : 449.50 KiB

  • Tamaño del conjunto de datos : 334.45 KiB

dirigible no rígido/wh_island

  • Descripción de la configuración : esta configuración incluye el paradigma wh_island.

  • Tamaño de la descarga : 438.12 KiB

  • Tamaño del conjunto de datos : 343.47 KiB

dirigible no rígido/wh_questions_object_gap

  • Descripción de la configuración : esta configuración incluye el paradigma wh_questions_object_gap.

  • Tamaño de la descarga : 378.35 KiB

  • Tamaño del conjunto de datos : 392.99 KiB

dirigible no rígido/wh_questions_subject_gap

  • Descripción de la configuración : esta configuración incluye el paradigma wh_questions_subject_gap.

  • Tamaño de la descarga : 380.84 KiB

  • Tamaño del conjunto de datos : 395.47 KiB

dirigible no rígido/wh_questions_subject_gap_long_distance

  • Descripción de la configuración : esta configuración incluye el paradigma wh_questions_subject_gap_long_distance.

  • Tamaño de la descarga : 451.82 KiB

  • Tamaño del conjunto de datos : 466.53 KiB

dirigible no rígido/wh_vs_that_no_gap

  • Descripción de la configuración : esta configuración incluye el paradigma wh_vs_that_no_gap.

  • Tamaño de la descarga : 374.28 KiB

  • Tamaño del conjunto de datos : 388.91 KiB

dirigible no rígido/wh_vs_that_no_gap_long_distance

  • Descripción de la configuración : esta configuración incluye el paradigma wh_vs_that_no_gap_long_distance.

  • Tamaño de la descarga : 431.08 KiB

  • Tamaño del conjunto de datos : 445.74 KiB

dirigible no rígido/wh_vs_that_with_gap

  • Descripción de la configuración : esta configuración incluye el paradigma wh_vs_that_with_gap.

  • Tamaño de la descarga : 359.16 KiB

  • Tamaño del conjunto de datos : 373.79 KiB

dirigible no rígido/wh_vs_that_with_gap_long_distance

  • Descripción de la configuración : esta configuración incluye el paradigma wh_vs_that_with_gap_long_distance.

  • Tamaño de descarga : 416.00 KiB

  • Tamaño del conjunto de datos : 430.63 KiB