tydi_qa

  • 説明

TyDi QAは、24万の質問応答ペアを持つ11の類型的に多様な言語をカバーする質問応答データセットです。 TyDi QAの言語は、その類型(各言語が表現する言語機能のセット)に関して多様であるため、このセットで適切に機能するモデルは、世界中の多数の言語に一般化されると予想されます。英語のみのコーパスには見られない言語現象が含まれています。現実的な情報探索タスクを提供し、プライミング効果を回避するために、質問は答えを知りたいがまだ答えを知らない人々によって書かれ(SQuADとその子孫とは異なり)、データは各言語で直接収集されます翻訳を使用せずに(MLQAやXQuADとは異なり)。

トレーニングの分割:

「列車は」:これは、元のティディQA紙[からGoldPタスクですhttps://arxiv.org/abs/2003.05002オリジナル言語ラベル付き訓練データを持っています]。

「翻訳-train-を*」:これらの分割は、[XTREME紙に変換する列車をベースラインに使用される各ターゲット言語に英語からの自動翻訳ですhttps://arxiv.org/abs/2003.11080 ]。これは、英語以外のTyDiQA-GoldPトレーニングデータを意図的に無視して、元の言語のデータが利用できず、システムビルダーがラベル付きの英語データと既存の機械翻訳システムに依存する必要がある転移学習シナリオをシミュレートします。

通常、trainまたはtranslate-train splitのいずれかを使用する必要がありますが、両方を使用することはできません。

スプリット
'train' 49,881
'translate-train-ar' 3,661
'translate-train-bn' 3,585
'translate-train-fi' 3,670
'translate-train-id' 3,667
'translate-train-ko' 3,607
'translate-train-ru' 3,394
'translate-train-sw' 3,622
'translate-train-te' 3,658
'validation' 5,077
'validation-ar' 921
'validation-bn' 113
'validation-en' 440
'validation-fi' 782
'validation-id' 565
'validation-ko' 276
'validation-ru' 812
'validation-sw' 499
'validation-te' 669
  • 特長
FeaturesDict({
    'answers': Sequence({
        'answer_start': tf.int32,
        'text': Text(shape=(), dtype=tf.string),
    }),
    'context': Text(shape=(), dtype=tf.string),
    'id': tf.string,
    'question': Text(shape=(), dtype=tf.string),
    'title': Text(shape=(), dtype=tf.string),
})
  • 引用
@article{tydiqa,
   title = {TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages},
  author = {Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}
    year = {2020},
 journal = {Transactions of the Association for Computational Linguistics}
}

tydi_qa / goldp(デフォルト設定)