アンリ

  • 説明

Adversarial NLI(ANLI)は、大規模なNLIベンチマークデータセットであり、反復的な敵対的な人間とモデルのループ手順によって収集されます。

FeaturesDict({
    'context': Text(shape=(), dtype=tf.string),
    'hypothesis': Text(shape=(), dtype=tf.string),
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'uid': Text(shape=(), dtype=tf.string),
})
@inproceedings{Nie2019AdversarialNA,
    title = "Adversarial NLI: A New Benchmark for Natural Language Understanding",
    author = "Nie, Yixin and
      Williams, Adina and
      Dinan, Emily  and
      Bansal, Mohit and
      Weston, Jason and
      Kiela, Douwe",
      year="2019",
    url ="https://arxiv.org/abs/1910.14599"
}

anli / r1(デフォルト設定)

  • コンフィグの説明:ラウンドワン

  • データセットサイズ9.04 MiB

  • スプリット

スプリット
'test' 1,000
'train' 16,946
'validation' 1,000

anli / r2

  • コンフィグの説明:第2ラウンド。

  • データセットサイズ22.39 MiB

  • スプリット

スプリット
'test' 1,000
'train' 45,460
'validation' 1,000

anli / r3

  • コンフィグの説明:決勝ラウンド

  • データセットサイズ47.03 MiB

  • スプリット

スプリット
'test' 1,200
'train' 100,459
'validation' 1,200