- 説明:
HellaSwag データセットは、Commonsense NLI のベンチマークです。コンテキストと、コンテキストを完成させるいくつかのエンディングが含まれています。
追加のドキュメント:コードを使用したペーパーの探索
ソースコード:
tfds.text.Hellaswagバージョン:
-
0.0.1: リリース ノートはありません。 -
1.0.0: ドメイン内およびドメイン外の検証/テスト セットに個別の分割を追加します。 -
1.1.0(デフォルト): ソースの別の分割ディメンション (wikihow と activitynet)
-
ダウンロードサイズ:
68.18 MiBデータセットのサイズ:
107.45 MiB自動キャッシュ(ドキュメント): はい
スプリット:
| スプリット | 例 |
|---|---|
'test' | 10,003 |
'test_ind_activitynet' | 1,870 |
'test_ind_wikihow' | 3,132 |
'test_ood_activitynet' | 1,651 |
'test_ood_wikihow' | 3,350 |
'train' | 39,905 |
'train_activitynet' | 14,740 |
'train_wikihow' | 25,165 |
'validation' | 10,042 |
'validation_ind_activitynet' | 1,809 |
'validation_ind_wikihow' | 3,192 |
'validation_ood_activitynet' | 1,434 |
'validation_ood_wikihow' | 3,607 |
- 機能構造:
FeaturesDict({
'activity_label': Text(shape=(), dtype=string),
'context': Text(shape=(), dtype=string),
'endings': Sequence(Text(shape=(), dtype=string)),
'label': int32,
'source_id': Text(shape=(), dtype=string),
'split_type': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
| 特徴 | クラス | 形 | Dtype | 説明 |
|---|---|---|---|---|
| 特徴辞書 | ||||
| 活動ラベル | 文章 | ストリング | ||
| 環境 | 文章 | ストリング | ||
| エンディング | シーケンス(テキスト) | （なし、） | ストリング | |
| ラベル | テンソル | int32 | ||
| source_id | 文章 | ストリング | ||
| 分割タイプ | 文章 | ストリング |
監視されたキー(
as_superviseddocを参照):None図( tfds.show_examples ): サポートされていません。
例( tfds.as_dataframe ):
- 引用：
@inproceedings{zellers2019hellaswag,
title={HellaSwag: Can a Machine Really Finish Your Sentence?},
author={Zellers, Rowan and Holtzman, Ari and Bisk, Yonatan and Farhadi, Ali and Choi, Yejin},
booktitle ={Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics},
year={2019}
}