hellaswag

  • 説明

HellaSwagデータセットは、CommonsenseNLIのベンチマークです。これには、コンテキストと、コンテキストを完成させるいくつかのエンディングが含まれます。

スプリット
'test' 10,003
'train' 39,905
'validation' 10,042
  • 特長
FeaturesDict({
    'activity_label': Text(shape=(), dtype=tf.string),
    'context': Text(shape=(), dtype=tf.string),
    'endings': Sequence(Text(shape=(), dtype=tf.string)),
    'label': tf.int32,
    'split_type': Text(shape=(), dtype=tf.string),
})
  • 引用
@inproceedings{zellers2019hellaswag,
    title={HellaSwag: Can a Machine Really Finish Your Sentence?},
    author={Zellers, Rowan and Holtzman, Ari and Bisk, Yonatan and Farhadi, Ali and Choi, Yejin},
    booktitle ={Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics},
    year={2019}
}