飛行船

  • 説明

BLiMPは、言語モデル(LM)が英語の主要な文法現象について知っていることを評価するためのチャレンジセットです。 BLiMPは67のサブデータセットで構成され、各サブデータセットには、構文、形態、またはセマンティクスの特定のコントラストを分離する1000の最小ペアが含まれています。データは、専門家が作成した文法に従って自動的に生成されます。

スプリット
'train' 1,000
  • 特長
FeaturesDict({
    'UID': Text(shape=(), dtype=tf.string),
    'field': Text(shape=(), dtype=tf.string),
    'lexically_identical': tf.bool,
    'linguistics_term': Text(shape=(), dtype=tf.string),
    'one_prefix_method': tf.bool,
    'pair_id': tf.int32,
    'sentence_bad': Text(shape=(), dtype=tf.string),
    'sentence_good': Text(shape=(), dtype=tf.string),
    'simple_LM_method': tf.bool,
    'two_prefix_method': tf.bool,
})
@article{warstadt2019blimp,
  title={BLiMP: A Benchmark of Linguistic Minimal Pairs for English},
  author={Warstadt, Alex and Parrish, Alicia and Liu, Haokun and Mohananey, Anhad and Peng, Wei, and Wang, Sheng-Fu and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1912.00582},
  year={2019}
}

blimp / adjunct_island(デフォルト設定)

  • コンフィグの説明:この設定は、パラダイムadjunct_islandが含まれています。

  • ダウンロードサイズ350.86 KiB

  • データセットのサイズ366.47 KiB

  • tfds.as_dataframe ):

blimp / anaphor_gender_agreement

  • コンフィグの説明:この設定は、パラダイムanaphor_gender_agreementが含まれています。

  • ダウンロードサイズ426.51 KiB

  • データセットのサイズ332.31 KiB

  • tfds.as_dataframe ):

飛行船/照応数_合意

  • コンフィグの説明:この設定は、パラダイムanaphor_number_agreementが含まれています。

  • ダウンロードサイズ440.29 KiB

  • データセットのサイズ341.07 KiB

  • tfds.as_dataframe ):

飛行船/ animate_subject_passive

  • コンフィグの説明:この設定は、パラダイムanimate_subject_passiveが含まれています。

  • ダウンロードサイズ451.46 KiB

  • データセットのサイズ345.50 KiB

  • tfds.as_dataframe ):

飛行船/ animate_subject_trans

  • コンフィグの説明:この設定は、パラダイムanimate_subject_transが含まれています。

  • ダウンロードサイズ422.95 KiB

  • データセットのサイズ329.27 KiB

  • tfds.as_dataframe ):

飛行船/使役

  • コンフィグの説明:この設定は、パラダイム原因が含まれています。

  • ダウンロードサイズ309.73 KiB

  • データセットのサイズ324.36 KiB

  • tfds.as_dataframe ):

飛行船/ complex_NP_island

  • コンフィグの説明:この設定は、パラダイムcomplex_NP_islandが含まれています。

  • ダウンロードサイズ383.17 KiB

  • データセットのサイズ398.78 KiB

  • tfds.as_dataframe ):

飛行船/ coordinate_structure_constraint_complex_left_branch

  • コンフィグの説明:この設定は、パラダイムcoordinate_structure_constraint_complex_left_branchが含まれています。

  • ダウンロードサイズ558.30 KiB

  • データセットのサイズ410.43 KiB

  • tfds.as_dataframe ):

飛行船/ coordinate_structure_constraint_object_extraction

  • コンフィグの説明:この設定は、パラダイムcoordinate_structure_constraint_object_extractionが含まれています。

  • ダウンロードサイズ357.47 KiB

  • データセットのサイズ372.10 KiB

  • tfds.as_dataframe ):

飛行船/限定詞_noun_agreement_1

  • コンフィグの説明:この設定は、パラダイムdeterminer_noun_agreement_1が含まれています。

  • ダウンロードサイズ457.66 KiB

  • データセットのサイズ356.93 KiB

  • tfds.as_dataframe ):

飛行船/限定詞_noun_agreement_2

  • コンフィグの説明:この設定は、パラダイムdeterminer_noun_agreement_2が含まれています。

  • ダウンロードサイズ477.40 KiB

  • データセットのサイズ357.01 KiB

  • tfds.as_dataframe ):

飛行船/限定詞_noun_agreement_irregular_1

  • コンフィグの説明:この設定は、パラダイムdeterminer_noun_agreement_irregular_1が含まれています。

  • ダウンロードサイズ463.80 KiB

  • データセットのサイズ365.08 KiB

  • tfds.as_dataframe ):

飛行船/限定詞_noun_agreement_irregular_2

  • コンフィグの説明:この設定は、パラダイムdeterminer_noun_agreement_irregular_2が含まれています。

  • ダウンロードサイズ479.35 KiB

  • データセットのサイズ361.76 KiB

  • tfds.as_dataframe ):

飛行船/限定詞_noun_agreement_with_adj_2

  • コンフィグの説明:この設定は、パラダイムdeterminer_noun_agreement_with_adj_2が含まれています。

  • ダウンロードサイズ514.46 KiB

  • データセットのサイズ379.92 KiB

  • tfds.as_dataframe ):

飛行船/限定詞_noun_agreement_with_adj_irregular_1

  • コンフィグの説明:この設定は、パラダイムdeterminer_noun_agreement_with_adj_irregular_1が含まれています。

  • ダウンロードサイズ487.95 KiB

  • データセットのサイズ384.67 KiB

  • tfds.as_dataframe ):

飛行船/限定詞_noun_agreement_with_adj_irregular_2

  • コンフィグの説明:この設定は、パラダイムdeterminer_noun_agreement_with_adj_irregular_2が含まれています。

  • ダウンロードサイズ516.14 KiB

  • データセットのサイズ384.54 KiB

  • tfds.as_dataframe ):

飛行船/限定詞_noun_agreement_with_adjective_1

  • コンフィグの説明:この設定は、パラダイムdeterminer_noun_agreement_with_adjective_1が含まれています。

  • ダウンロードサイズ492.85 KiB

  • データセットのサイズ385.25 KiB

  • tfds.as_dataframe ):

飛行船/ distractor_agreement_relational_noun

  • コンフィグの説明:この設定は、パラダイムdistractor_agreement_relational_nounが含まれています。

  • ダウンロードサイズ513.33 KiB

  • データセットのサイズ391.45 KiB

  • tfds.as_dataframe ):

飛行船/ distractor_agreement_relative_clause

  • コンフィグの説明:この設定は、パラダイムdistractor_agreement_relative_clauseが含まれています。

  • ダウンロードサイズ551.53 KiB

  • データセットのサイズ416.14 KiB

  • tfds.as_dataframe ):

blimp / drop_argument

  • コンフィグの説明:この設定は、パラダイムdrop_argumentが含まれています。

  • ダウンロードサイズ297.07 KiB

  • データセットのサイズ311.70 KiB

  • tfds.as_dataframe ):

飛行船/省略記号_n_bar_1

  • コンフィグの説明:この設定は、パラダイムellipsis_n_bar_1が含まれています。

  • ダウンロードサイズ402.32 KiB

  • データセットのサイズ417.06 KiB

  • tfds.as_dataframe ):

blimp / ellipsis_n_bar_2

  • コンフィグの説明:この設定は、パラダイムellipsis_n_bar_2が含まれています。

  • ダウンロードサイズ417.53 KiB

  • データセットのサイズ432.47 KiB

  • tfds.as_dataframe ):

飛行船/ existential_there_object_raising

  • コンフィグの説明:この設定は、パラダイムexistential_there_object_raisingが含まれています。

  • ダウンロードサイズ537.77 KiB

  • データセットのサイズ423.00 KiB

  • tfds.as_dataframe ):

飛行船/ existential_there_quantifiers_1

  • コンフィグの説明:この設定は、パラダイムexistential_there_quantifiers_1が含まれています。

  • ダウンロードサイズ348.95 KiB

  • データセットのサイズ363.58 KiB

  • tfds.as_dataframe ):

飛行船/ existential_there_quantifiers_2

  • コンフィグの説明:この設定は、パラダイムexistential_there_quantifiers_2が含まれています。

  • ダウンロードサイズ350.80 KiB

  • データセットのサイズ365.43 KiB

  • tfds.as_dataframe ):

飛行船/ existential_there_subject_raising

  • コンフィグの説明:この設定は、パラダイムexistential_there_subject_raisingが含まれています。

  • ダウンロードサイズ385.21 KiB

  • データセットのサイズ399.84 KiB

  • tfds.as_dataframe ):

飛行船/ expletive_it_object_raising

  • コンフィグの説明:この設定は、パラダイムexpletive_it_object_raisingが含まれています。

  • ダウンロードサイズ573.88 KiB

  • データセットのサイズ437.58 KiB

  • tfds.as_dataframe ):

飛行船/動詞

  • コンフィグの説明:この設定は、パラダイムinchoativeが含まれています。

  • ダウンロードサイズ291.71 KiB

  • データセットのサイズ306.34 KiB

  • tfds.as_dataframe ):

飛行船/自動詞

  • コンフィグの説明:この設定は、パラダイム自動詞が含まれています。

  • ダウンロードサイズ298.33 KiB

  • データセットのサイズ312.96 KiB

  • tfds.as_dataframe ):

飛行船/ irregular_past_participle_adjectives

  • コンフィグの説明:この設定は、パラダイムirregular_past_participle_adjectivesが含まれています。

  • ダウンロードサイズ434.10 KiB

  • データセットのサイズ345.74 KiB

  • tfds.as_dataframe ):

飛行船/ irregular_past_participle_verbs

  • コンフィグの説明:この設定は、パラダイムirregular_past_participle_verbsが含まれています。

  • ダウンロードサイズ410.27 KiB

  • データセットのサイズ327.21 KiB

  • tfds.as_dataframe ):

blimp / irregular_plural_subject_verb_agreement_1

  • コンフィグの説明:この設定は、パラダイムirregular_plural_subject_verb_agreement_1が含まれています。

  • ダウンロードサイズ449.91 KiB

  • データセットのサイズ366.17 KiB

  • tfds.as_dataframe ):

blimp / irregular_plural_subject_verb_agreement_2

  • コンフィグの説明:この設定は、パラダイムirregular_plural_subject_verb_agreement_2が含まれています。

  • ダウンロードサイズ442.75 KiB

  • データセットのサイズ354.70 KiB

  • tfds.as_dataframe ):

blimp / left_branch_island_echo_question

  • コンフィグの説明:この設定は、パラダイムleft_branch_island_echo_questionが含まれています。

  • ダウンロードサイズ471.31 KiB

  • データセットのサイズ348.84 KiB

  • tfds.as_dataframe ):

blimp / left_branch_island_simple_question

  • コンフィグの説明:この設定は、パラダイムleft_branch_island_simple_questionが含まれています。

  • ダウンロードサイズ335.40 KiB

  • データセットのサイズ351.01 KiB

  • tfds.as_dataframe ):

blimp / matrix_question_npi_licensor_present

  • コンフィグの説明:この設定は、パラダイムmatrix_question_npi_licensor_presentが含まれています。

  • ダウンロードサイズ447.08 KiB

  • データセットのサイズ354.14 KiB

  • tfds.as_dataframe ):

飛行船/ npi_present_1

  • コンフィグの説明:この設定は、パラダイムnpi_present_1が含まれています。

  • ダウンロードサイズ427.75 KiB

  • データセットのサイズ339.68 KiB

  • tfds.as_dataframe ):

blimp / npi_present_2

  • コンフィグの説明:この設定は、パラダイムnpi_present_2が含まれています。

  • ダウンロードサイズ412.24 KiB

  • データセットのサイズ329.11 KiB

  • tfds.as_dataframe ):

blimp / only_npi_licensor_present

  • コンフィグの説明:この設定は、パラダイムonly_npi_licensor_presentが含まれています。

  • ダウンロードサイズ448.41 KiB

  • データセットのサイズ349.50 KiB

  • tfds.as_dataframe ):

blimp / only_npi_scope

  • コンフィグの説明:この設定は、パラダイムonly_npi_scopeが含まれています。

  • ダウンロードサイズ570.04 KiB

  • データセットのサイズ408.52 KiB

  • tfds.as_dataframe ):

飛行船/パッシブ_1

  • コンフィグの説明:この設定は、パラダイムpassive_1が含まれています。

  • ダウンロードサイズ332.30 KiB

  • データセットのサイズ346.93 KiB

  • tfds.as_dataframe ):

飛行船/パッシブ_2

  • コンフィグの説明:この設定は、パラダイムpassive_2が含まれています。

  • ダウンロードサイズ301.12 KiB

  • データセットのサイズ315.75 KiB

  • tfds.as_dataframe ):

飛行船/原則_A_c_command

  • コンフィグの説明:この設定は、パラダイムprinciple_A_c_commandが含まれています。

  • ダウンロードサイズ515.32 KiB

  • データセットのサイズ388.54 KiB

  • tfds.as_dataframe ):

飛行船/ principle_A_case_1

  • コンフィグの説明:この設定は、パラダイムprinciple_A_case_1が含まれています。

  • ダウンロードサイズ466.05 KiB

  • データセットのサイズ370.87 KiB

  • tfds.as_dataframe ):

飛行船/ principle_A_case_2

  • コンフィグの説明:この設定は、パラダイムprinciple_A_case_2が含まれています。

  • ダウンロードサイズ481.42 KiB

  • データセットのサイズ370.88 KiB

  • tfds.as_dataframe ):

飛行船/ principle_A_domain_1

  • コンフィグの説明:この設定は、パラダイムprinciple_A_domain_1が含まれています。

  • ダウンロードサイズ488.15 KiB

  • データセットのサイズ371.62 KiB

  • tfds.as_dataframe ):

飛行船/ principle_A_domain_2

  • コンフィグの説明:この設定は、パラダイムprinciple_A_domain_2が含まれています。

  • ダウンロードサイズ481.63 KiB

  • データセットのサイズ365.92 KiB

  • tfds.as_dataframe ):

飛行船/ principle_A_domain_3

  • コンフィグの説明:この設定は、パラダイムprinciple_A_domain_3が含まれています。

  • ダウンロードサイズ501.84 KiB

  • データセットのサイズ359.74 KiB

  • tfds.as_dataframe ):

飛行船/ principle_A_reconstruction

  • コンフィグの説明:この設定は、パラダイムprinciple_A_reconstructionが含まれています。

  • ダウンロードサイズ337.40 KiB

  • データセットのサイズ353.00 KiB

  • tfds.as_dataframe ):

blimp / regular_plural_subject_verb_agreement_1

  • コンフィグの説明:この設定は、パラダイムregular_plural_subject_verb_agreement_1が含まれています。

  • ダウンロードサイズ441.26 KiB

  • データセットのサイズ359.56 KiB

  • tfds.as_dataframe ):

blimp / regular_plural_subject_verb_agreement_2

  • コンフィグの説明:この設定は、パラダイムregular_plural_subject_verb_agreement_2が含まれています。

  • ダウンロードサイズ445.78 KiB

  • データセットのサイズ354.47 KiB

  • tfds.as_dataframe ):

飛行船/ sentential_negation_npi_licensor_present

  • コンフィグの説明:この設定は、パラダイムsentential_negation_npi_licensor_presentが含まれています。

  • ダウンロードサイズ479.49 KiB

  • データセットのサイズ372.30 KiB

  • tfds.as_dataframe ):

飛行船/ sentential_negation_npi_scope

  • コンフィグの説明:この設定は、パラダイムsentential_negation_npi_scopeが含まれています。

  • ダウンロードサイズ600.52 KiB

  • データセットのサイズ431.18 KiB

  • tfds.as_dataframe ):

飛行船/ sentential_subject_island

  • コンフィグの説明:この設定は、パラダイムsentential_subject_islandが含まれています。

  • ダウンロードサイズ357.25 KiB

  • データセットのサイズ372.86 KiB

  • tfds.as_dataframe ):

blimp / superlative_quantifiers_1

  • コンフィグの説明:この設定は、パラダイムsuperlative_quantifiers_1が含まれています。

  • ダウンロードサイズ372.25 KiB

  • データセットのサイズ360.02 KiB

  • tfds.as_dataframe ):

blimp / superlative_quantifiers_2

  • コンフィグの説明:この設定は、パラダイムsuperlative_quantifiers_2が含まれています。

  • ダウンロードサイズ504.02 KiB

  • データセットのサイズ360.07 KiB

  • tfds.as_dataframe ):

blimp / tough_vs_raising_1

  • コンフィグの説明:この設定は、パラダイムtough_vs_raising_1が含まれています。

  • ダウンロードサイズ334.99 KiB

  • データセットのサイズ349.62 KiB

  • tfds.as_dataframe ):

blimp / tough_vs_raising_2

  • コンフィグの説明:この設定は、パラダイムtough_vs_raising_2が含まれています。

  • ダウンロードサイズ355.54 KiB

  • データセットのサイズ370.17 KiB

  • tfds.as_dataframe ):

飛行船/他動詞

  • コンフィグの説明:この設定は、パラダイム推移を含んでいます。

  • ダウンロードサイズ449.50 KiB

  • データセットのサイズ334.45 KiB

  • tfds.as_dataframe ):

飛行船/ wh_island

  • コンフィグの説明:この設定は、パラダイムwh_islandが含まれています。

  • ダウンロードサイズ438.12 KiB

  • データセットのサイズ343.47 KiB

  • tfds.as_dataframe ):

飛行船/ wh_questions_object_gap

  • コンフィグの説明:この設定は、パラダイムwh_questions_object_gapが含まれています。

  • ダウンロードサイズ378.35 KiB

  • データセットのサイズ392.99 KiB

  • tfds.as_dataframe ):

飛行船/ wh_questions_subject_gap

  • コンフィグの説明:この設定は、パラダイムwh_questions_subject_gapが含まれています。

  • ダウンロードサイズ380.84 KiB

  • データセットのサイズ395.47 KiB

  • tfds.as_dataframe ):

飛行船/ wh_questions_subject_gap_long_distance

  • コンフィグの説明:この設定は、パラダイムwh_questions_subject_gap_long_distanceが含まれています。

  • ダウンロードサイズ451.82 KiB

  • データセットのサイズ466.53 KiB

  • tfds.as_dataframe ):

飛行船/ wh_vs_that_no_gap

  • コンフィグの説明:この設定は、パラダイムwh_vs_that_no_gapが含まれています。

  • ダウンロードサイズ374.28 KiB

  • データセットのサイズ388.91 KiB

  • tfds.as_dataframe ):

飛行船/ wh_vs_that_no_gap_long_distance

  • コンフィグの説明:この設定は、パラダイムwh_vs_that_no_gap_long_distanceが含まれています。

  • ダウンロードサイズ431.08 KiB

  • データセットのサイズ445.74 KiB

  • tfds.as_dataframe ):

飛行船/ wh_vs_that_with_gap

  • コンフィグの説明:この設定は、パラダイムwh_vs_that_with_gapが含まれています。

  • ダウンロードサイズ359.16 KiB

  • データセットのサイズ373.79 KiB

  • tfds.as_dataframe ):

飛行船/ wh_vs_that_with_gap_long_distance

  • コンフィグの説明:この設定は、パラダイムwh_vs_that_with_gap_long_distanceが含まれています。

  • ダウンロードサイズ416.00 KiB

  • データセットのサイズ430.63 KiB

  • tfds.as_dataframe ):