のり

• 説明:

一般言語理解評価ベンチマークである GLUE ( https://gluebenchmark.com/ ) は、自然言語理解システムのトレーニング、評価、分析のためのリソースのコレクションです。

• 追加のドキュメント:コードnorth_eastを使用したペーパーの探索

• ソースコード: tfds.text.Glue

• バージョン:

  • 1.0.0 : 新しい分割 API ( https://tensorflow.org/datasets/splits )
  • 1.0.1 : デッド URL リンクを更新します。
  • 2.0.0 (デフォルト): glue/qqp のデータ ソースを更新します。

• 自動キャッシュ(ドキュメント): はい

• 監視されたキー( as_supervised docを参照): None

• 図( tfds.show_examples ): サポートされていません。

グルー/コーラ (デフォルト設定)

• 構成の説明: 言語受容性コーパスは、言語理論に関する本や雑誌の記事から引き出された英語の受容性判断で構成されています。各例は、文法的な英文かどうかの注釈が付けられた一連の単語です。

• ホームページ： https ://nyu-mll.github.io/CoLA/

• ダウンロードサイズ: 368.14 KiB

• データセットサイズ: 965.49 KiB

• スプリット:

• 機能構造:

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

• 例( tfds.as_dataframe ):

• 引用：

@article{warstadt2018neural,
  title={Neural Network Acceptability Judgments},
  author={Warstadt, Alex and Singh, Amanpreet and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1805.12471},
  year={2018}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/sst2

• 構成の説明: スタンフォードのセンチメント ツリーバンクは、映画のレビューからの文と、人間による感情の注釈で構成されます。タスクは、与えられた文の感情を予測することです。双方向 (ポジティブ/ネガティブ) クラス分割を使用し、文レベルのラベルのみを使用します。

• ホームページ: https://nlp.stanford.edu/sentiment/index.html

• ダウンロードサイズ: 7.09 MiB

• データセットサイズ: 7.22 MiB

• スプリット:

• 機能構造:

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

• 例( tfds.as_dataframe ):

• 引用：

@inproceedings{socher2013recursive,
  title={Recursive deep models for semantic compositionality over a sentiment treebank},
  author={Socher, Richard and Perelygin, Alex and Wu, Jean and Chuang, Jason and Manning, Christopher D and Ng, Andrew and Potts, Christopher},
  booktitle={Proceedings of the 2013 conference on empirical methods in natural language processing},
  pages={1631--1642},
  year={2013}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

グルー/mrpc

• 構成の説明: Microsoft Research パラフレーズ コーパス (Dolan & Brockett、2005 年) は、オンライン ニュース ソースから自動的に抽出された文のペアのコーパスであり、ペアの文が意味的に同等であるかどうかについて人間による注釈が付けられています。

• ホームページ: https://www.microsoft.com/en-us/download/details.aspx?id=52398

• ダウンロードサイズ: 1.43 MiB

• データセットのサイズ: 1.74 MiB

• スプリット:

• 機能構造:

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

• 例( tfds.as_dataframe ):

• 引用：

@inproceedings{dolan2005automatically,
  title={Automatically constructing a corpus of sentential paraphrases},
  author={Dolan, William B and Brockett, Chris},
  booktitle={Proceedings of the Third International Workshop on Paraphrasing (IWP2005)},
  year={2005}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

グルー/qqp

• 構成の説明: Quora Question Pairs2 データセットは、コミュニティの質問回答 Web サイト Quora からの質問ペアのコレクションです。タスクは、質問のペアが意味的に同等かどうかを判断することです。

• ホームページ: https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs

• ダウンロードサイズ: 39.76 MiB

• データセットのサイズ: 150.37 MiB

• スプリット:

• 機能構造:

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'question1': Text(shape=(), dtype=string),
    'question2': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

• 例( tfds.as_dataframe ):

• 引用：

@online{WinNT,
  author = {Iyer, Shankar and Dandekar, Nikhil and Csernai, Kornel},
  title = {First Quora Dataset Release: Question Pairs},
  year = 2017,
  url = {https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs},
  urldate = {2019-04-03}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/stsb

• 構成の説明: Semantic Textual Similarity Benchmark (Cer et al., 2017) は、ニュースの見出し、ビデオと画像のキャプション、および自然言語推論データから抽出されたセンテンス ペアのコレクションです。各ペアは、0 から 5 までの類似性スコアで人によって注釈が付けられます。

• ホームページ: http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark

• ダウンロードサイズ: 784.05 KiB

• データセットサイズ: 1.58 MiB

• スプリット:

• 機能構造:

FeaturesDict({
    'idx': int32,
    'label': float32,
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

• 例( tfds.as_dataframe ):

• 引用：

@article{cer2017semeval,
  title={Semeval-2017 task 1: Semantic textual similarity-multilingual and cross-lingual focused evaluation},
  author={Cer, Daniel and Diab, Mona and Agirre, Eneko and Lopez-Gazpio, Inigo and Specia, Lucia},
  journal={arXiv preprint arXiv:1708.00055},
  year={2017}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/mnli

• 構成の説明: Multi-Genre Natural Language Inference Corpus は、テキストの含意注釈を含む文のペアのクラウドソーシングによるコレクションです。前提文と仮説文が与えられた場合、タスクは、前提が仮説を含意するか (含意)、仮説と矛盾するか (矛盾)、またはどちらでもないか (中立) を予測することです。前提文は、転写されたスピーチ、フィクション、政府のレポートなど、10 の異なるソースから収集されます。著者からプライベート ラベルを取得した標準テスト セットを使用し、一致 (ドメイン内) セクションと不一致 (クロスドメイン) セクションの両方で評価します。また、補助トレーニング データの 550k の例として SNLI コーパスを使用し、推奨しています。

• ホームページ: http://www.nyu.edu/projects/bowman/multinli/

• ダウンロードサイズ: 298.29 MiB

• データセットのサイズ: 100.56 MiB

• スプリット:

• 機能構造:

FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

• 例( tfds.as_dataframe ):

• 引用：

@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/mnli_mismatched

• 構成の説明: MNLI からの不一致の検証とテストの分割。詳細については、「mnli」BuilderConfig を参照してください。

• ホームページ: http://www.nyu.edu/projects/bowman/multinli/

• ダウンロードサイズ: 298.29 MiB

• データセットのサイズ: 4.79 MiB

• スプリット:

• 機能構造:

FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

• 例( tfds.as_dataframe ):

• 引用：

@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

グルー/mnli_matched

• 構成の説明: MNLI からの一致した検証とテストの分割。詳細については、「mnli」BuilderConfig を参照してください。

• ホームページ: http://www.nyu.edu/projects/bowman/multinli/

• ダウンロードサイズ: 298.29 MiB

• データセットのサイズ: 4.58 MiB

• スプリット:

• 機能構造:

FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

• 例( tfds.as_dataframe ):

• 引用：

@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/qnli

• 構成の説明: Stanford Question Answering Dataset は、質問と段落のペアで構成される質問応答データセットです。段落内の文の 1 つ (ウィキペディアから取得) には、対応する質問 (アノテーターによって作成された) への回答が含まれています。各質問と対応するコンテキスト内の各文の間にペアを形成し、質問とコンテキスト文の間の語彙的重複が少ないペアを除外することにより、タスクを文ペア分類に変換します。タスクは、文脈文に質問に対する答えが含まれているかどうかを判断することです。元のタスクのこの修正版では、モデルが正確な回答を選択するという要件が削除されますが、回答が常に入力に存在し、語彙の重複が信頼できる手がかりであるという単純化の前提も削除されます。

• ホームページ: https://rajpurkar.github.io/SQuAD-explorer/

• ダウンロードサイズ: 10.14 MiB

• データセットのサイズ: 32.99 MiB

• スプリット:

• 機能構造:

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'question': Text(shape=(), dtype=string),
    'sentence': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

• 例( tfds.as_dataframe ):

• 引用：

@article{rajpurkar2016squad,
  title={Squad: 100,000+ questions for machine comprehension of text},
  author={Rajpurkar, Pranav and Zhang, Jian and Lopyrev, Konstantin and Liang, Percy},
  journal={arXiv preprint arXiv:1606.05250},
  year={2016}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/rte

• 構成の説明: Recognizing Textual Entailment (RTE) データセットは、一連の毎年恒例のテキスト含意の課題に由来します。 RTE1 (Dagan et al., 2006)、RTE2 (Bar Haim et al., 2006)、RTE3 (Giampiccolo et al., 2007)、および RTE5 (Bentivogli et al., 2009) のデータを組み合わせます。ニュースとウィキペディアのテキストに基づいて作成されています。すべてのデータセットを 2 クラスの分割に変換します。3 クラスのデータセットでは、一貫性を保つために中立と矛盾を非含意にまとめます。

• ホームページ: https://aclweb.org/aclwiki/Recognizing_Textual_Entailment

• ダウンロードサイズ: 680.81 KiB

• データセットサイズ: 2.15 MiB

• スプリット:

• 機能構造:

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

• 例( tfds.as_dataframe ):

• 引用：

@inproceedings{dagan2005pascal,
  title={The PASCAL recognising textual entailment challenge},
  author={Dagan, Ido and Glickman, Oren and Magnini, Bernardo},
  booktitle={Machine Learning Challenges Workshop},
  pages={177--190},
  year={2005},
  organization={Springer}
}
@inproceedings{bar2006second,
  title={The second pascal recognising textual entailment challenge},
  author={Bar-Haim, Roy and Dagan, Ido and Dolan, Bill and Ferro, Lisa and Giampiccolo, Danilo and Magnini, Bernardo and Szpektor, Idan},
  booktitle={Proceedings of the second PASCAL challenges workshop on recognising textual entailment},
  volume={6},
  number={1},
  pages={6--4},
  year={2006},
  organization={Venice}
}
@inproceedings{giampiccolo2007third,
  title={The third pascal recognizing textual entailment challenge},
  author={Giampiccolo, Danilo and Magnini, Bernardo and Dagan, Ido and Dolan, Bill},
  booktitle={Proceedings of the ACL-PASCAL workshop on textual entailment and paraphrasing},
  pages={1--9},
  year={2007},
  organization={Association for Computational Linguistics}
}
@inproceedings{bentivogli2009fifth,
  title={The Fifth PASCAL Recognizing Textual Entailment Challenge.},
  author={Bentivogli, Luisa and Clark, Peter and Dagan, Ido and Giampiccolo, Danilo},
  booktitle={TAC},
  year={2009}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/wnli

• 構成の説明: The Winograd Schema Challenge (Levesque et al., 2011) は、システムが代名詞を含む文を読み、選択肢のリストからその代名詞の指示対象を選択する読解タスクです。例は、単純な統計手法を無効にするために手動で作成されています。それぞれの例は、文内の単一の単語またはフレーズによって提供されるコンテキスト情報に依存しています。問題を文対分類に変換するために、あいまいな代名詞を可能な各指示対象に置き換えることによって文対を構築します。タスクは、代名詞が置換された文が元の文によって含意されるかどうかを予測することです。元のコーパスの著者によって個人的に共有されたフィクション本から派生した新しい例で構成される小さな評価セットを使用します。含まれているトレーニング セットは 2 つのクラス間でバランスが取れていますが、テスト セットはそれらの間でバランスが取れていません (65% 含意ではありません)。また、データの癖により、開発セットは敵対的です。仮説はトレーニングと開発の例の間で共有されることがあるため、モデルがトレーニングの例を記憶している場合、対応する開発セットの例で間違ったラベルを予測します。 QNLI と同様に、各例は個別に評価されるため、このタスクでのモデルのスコアと、変換されていない元のタスクでのスコアとの間に体系的な対応はありません。変換されたデータセット WNLI (Winograd NLI) と呼びます。

• ホームページ: https://cs.nyu.edu/faculty/davise/papers/WinogradSchemas/WS.html

• ダウンロードサイズ: 28.32 KiB

• データセットサイズ: 198.88 KiB

• スプリット:

• 機能構造:

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

• 例( tfds.as_dataframe ):

• 引用：

@inproceedings{levesque2012winograd,
  title={The winograd schema challenge},
  author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
  booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
  year={2012}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

のり/斧

• 構成の説明: 広範囲の言語現象に関するシステム パフォーマンスの詳細な分析のための手動で精選された評価データセット。このデータセットは、自然言語推論 (NLI) の問題を通じて文の理解を評価します。 MulitNLI でトレーニングされたモデルを使用して、このデータセットの予測を生成します。

• ホームページ: https://gluebenchmark.com/diagnostics

• ダウンロードサイズ: 217.05 KiB

• データセットサイズ: 299.16 KiB

• スプリット:

• 機能構造:

FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

• 例( tfds.as_dataframe ):

• 引用：

@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.