ヘルプKaggleにTensorFlowグレートバリアリーフを保護チャレンジに参加

接着剤

  • 説明

GLUEは、一般的な言語の理解評価のベンチマークは、( https://gluebenchmark.com/ )を評価し、システムを理解する自然言語を解析し、訓練のためのリソースの集合です。

接着剤/コーラ(デフォルト設定)

  • コンフィグの説明:言語受容性のコーパスは、言語理論に関する書籍や雑誌記事から引き出された英語の合否の判断で構成されています。各例は、それが文法的な英語の文であるかどうかで注釈が付けられた一連の単語です。

  • ホームページhttps://nyu-mll.github.io/CoLA/

  • ダウンロードサイズ368.14 KiB

  • データセットのサイズ965.49 KiB

  • スプリット

スプリット
'test' 1,063
'train' 8,551
'validation' 1,043
  • 特長
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • 引用
@article{warstadt2018neural,
  title={Neural Network Acceptability Judgments},
  author={Warstadt, Alex and Singh, Amanpreet and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1805.12471},
  year={2018}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/ sst2

  • コンフィグの説明:ツリーバンクは、映画のレビューとその感情の人間の注釈からの文章で構成されていスタンフォード感情。タスクは、特定の文の感情を予測することです。双方向(ポジティブ/ネガティブ)クラス分割を使用し、文レベルのラベルのみを使用します。

  • ホームページhttps://nlp.stanford.edu/sentiment/index.html

  • ダウンロードサイズ7.09 MiB

  • データセットサイズ7.22 MiB

  • スプリット

スプリット
'test' 1,821
'train' 67,349
'validation' 872
  • 特長
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • 引用
@inproceedings{socher2013recursive,
  title={Recursive deep models for semantic compositionality over a sentiment treebank},
  author={Socher, Richard and Perelygin, Alex and Wu, Jean and Chuang, Jason and Manning, Christopher D and Ng, Andrew and Potts, Christopher},
  booktitle={Proceedings of the 2013 conference on empirical methods in natural language processing},
  pages={1631--1642},
  year={2013}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/ mrpc

  • コンフィグの説明:マイクロソフトリサーチ言い換えコーパス(ドーラン&Brockett、2005)はペアの文章は意味的に等価であるかどうかについてのヒト注釈を自動的にオンラインのニュースソースから抽出された文のペアのコーパスです。

  • ホームページhttps://www.microsoft.com/en-us/download/details.aspx?id=52398

  • ダウンロードサイズ1.43 MiB

  • データセットサイズ1.74 MiB

  • スプリット

スプリット
'test' 1,725
'train' 3,668
'validation' 408
  • 特長
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • 引用
@inproceedings{dolan2005automatically,
  title={Automatically constructing a corpus of sentential paraphrases},
  author={Dolan, William B and Brockett, Chris},
  booktitle={Proceedings of the Third International Workshop on Paraphrasing (IWP2005)},
  year={2005}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/ qqp

  • コンフィグの説明:Quoraの質問Pairs2データセットは、コミュニティ質問応答WebサイトQuoraの質問からペアのコレクションです。タスクは、質問のペアが意味的に同等であるかどうかを判断することです。

  • ホームページhttps://data.quora.com/First-Quora-Dataset-Release-Question-Pairs

  • ダウンロードサイズ39.76 MiB

  • データセットのサイズ150.37 MiB

  • スプリット

スプリット
'test' 390,965
'train' 363,846
'validation' 40,430
  • 特長
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'question1': Text(shape=(), dtype=tf.string),
    'question2': Text(shape=(), dtype=tf.string),
})
  • 引用
@online{WinNT,
  author = {Iyer, Shankar and Dandekar, Nikhil and Csernai, Kornel},
  title = {First Quora Dataset Release: Question Pairs},
  year = 2017,
  url = {https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs},
  urldate = {2019-04-03}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/ stsb

  • 設定の説明:セマンティックテキスト類似ベンチマークは、(。のCerら、2017)、ニュースの見出し、ビデオおよび画像キャプション、および自然言語推論データから引き出された文ペアのコレクションです。各ペアは、1から5までの類似性スコアで人間が注釈を付けています。

  • ホームページhttp://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark

  • ダウンロードサイズ784.05 KiB

  • データセットサイズ1.58 MiB

  • スプリット

スプリット
'test' 1,379
'train' 5,749
'validation' 1,500
  • 特長
FeaturesDict({
    'idx': tf.int32,
    'label': tf.float32,
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • 引用
@article{cer2017semeval,
  title={Semeval-2017 task 1: Semantic textual similarity-multilingual and cross-lingual focused evaluation},
  author={Cer, Daniel and Diab, Mona and Agirre, Eneko and Lopez-Gazpio, Inigo and Specia, Lucia},
  journal={arXiv preprint arXiv:1708.00055},
  year={2017}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/ mnli

  • コンフィグの説明:マルチジャンル自然言語推論コーパスは、テキスト含意注釈を含む文のペアのクラウドソーシングコレクションです。前提文と仮説文が与えられた場合、タスクは、前提が仮説を伴うか(含意)、仮説と矛盾するか(矛盾)、どちらでもないか(中立)を予測することです。前提文は、転写されたスピーチ、フィクション、政府の報告書など、10の異なるソースから収集されます。著者からプライベートラベルを取得した標準のテストセットを使用し、一致(ドメイン内)セクションと不一致(クロスドメイン)セクションの両方で評価します。また、補助トレーニングデータの550kの例として、SNLIコーパスを使用および推奨します。

  • ホームページhttp://www.nyu.edu/projects/bowman/multinli/

  • ダウンロードサイズ298.29 MiB

  • データセットのサイズ100.56 MiB

  • スプリット

スプリット
'test_matched' 9,796
'test_mismatched' 9,847
'train' 392,702
'validation_matched' 9,815
'validation_mismatched' 9,832
  • 特長
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • 引用
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/ mnli_mismatched

  • コンフィグの説明:MNLIから不一致検証およびテスト分割。詳細については、「mnli」BuilderConfigを参照してください。

  • ホームページhttp://www.nyu.edu/projects/bowman/multinli/

  • ダウンロードサイズ298.29 MiB

  • データセットサイズ4.79 MiB

  • スプリット

スプリット
'test' 9,847
'validation' 9,832
  • 特長
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • 引用
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/ mnli_matched

  • コンフィグの説明:MNLIからマッチした検証およびテスト分割。詳細については、「mnli」BuilderConfigを参照してください。

  • ホームページhttp://www.nyu.edu/projects/bowman/multinli/

  • ダウンロードサイズ298.29 MiB

  • データセットサイズ4.58 MiB

  • スプリット

スプリット
'test' 9,796
'validation' 9,815
  • 特長
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • 引用
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/ qnli

  • コンフィグの説明:データセットに答えるスタンフォード質問が段落の文章の一つは(ウィキペディアから引き出された)質問-段落のペアからなる質問応答データセット、ですが(注釈で書かれた)対応する質問への答えが含まれています。各質問と対応するコンテキストの各文の間にペアを形成し、質問とコンテキストセンテンスの間の語彙の重複が少ないペアを除外することにより、タスクをセンテンスペア分類に変換します。タスクは、文脈文に質問への回答が含まれているかどうかを判断することです。元のタスクのこの変更されたバージョンは、モデルが正確な答えを選択するという要件を削除しますが、答えが常に入力に存在し、語彙の重複が信頼できる手がかりであるという単純化された仮定も削除します。

  • ホームページhttps://rajpurkar.github.io/SQuAD-explorer/

  • ダウンロードサイズ10.14 MiB

  • データセットサイズ32.99 MiB

  • スプリット

スプリット
'test' 5,463
'train' 104,743
'validation' 5,463
  • 特長
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'question': Text(shape=(), dtype=tf.string),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • 引用
@article{rajpurkar2016squad,
  title={Squad: 100,000+ questions for machine comprehension of text},
  author={Rajpurkar, Pranav and Zhang, Jian and Lopyrev, Konstantin and Liang, Percy},
  journal={arXiv preprint arXiv:1606.05250},
  year={2016}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/ rte

  • コンフィグの説明:認識テキスト含意(RTE)のデータセットは、毎年恒例のテキスト含意の課題のシリーズから来ます。 RTE1(Dagan et al。、2006)、RTE2(Bar Haim et al。、2006)、RTE3(Giampiccolo et al。、2007)、およびRTE5(Bentivogli et al。、2009)のデータを組み合わせます。4例は次のとおりです。ニュースとウィキペディアのテキストに基づいて構築されています。すべてのデータセットを2クラスの分割に変換します。ここで、3クラスのデータセットの場合、一貫性を保つために、中立で矛盾を非含意に崩壊させます。

  • ホームページhttps://aclweb.org/aclwiki/Recognizing_Textual_Entailment

  • ダウンロードサイズ680.81 KiB

  • データセットサイズ2.15 MiB

  • スプリット

スプリット
'test' 3,000
'train' 2,490
'validation' 277
  • 特長
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • 引用
@inproceedings{dagan2005pascal,
  title={The PASCAL recognising textual entailment challenge},
  author={Dagan, Ido and Glickman, Oren and Magnini, Bernardo},
  booktitle={Machine Learning Challenges Workshop},
  pages={177--190},
  year={2005},
  organization={Springer}
}
@inproceedings{bar2006second,
  title={The second pascal recognising textual entailment challenge},
  author={Bar-Haim, Roy and Dagan, Ido and Dolan, Bill and Ferro, Lisa and Giampiccolo, Danilo and Magnini, Bernardo and Szpektor, Idan},
  booktitle={Proceedings of the second PASCAL challenges workshop on recognising textual entailment},
  volume={6},
  number={1},
  pages={6--4},
  year={2006},
  organization={Venice}
}
@inproceedings{giampiccolo2007third,
  title={The third pascal recognizing textual entailment challenge},
  author={Giampiccolo, Danilo and Magnini, Bernardo and Dagan, Ido and Dolan, Bill},
  booktitle={Proceedings of the ACL-PASCAL workshop on textual entailment and paraphrasing},
  pages={1--9},
  year={2007},
  organization={Association for Computational Linguistics}
}
@inproceedings{bentivogli2009fifth,
  title={The Fifth PASCAL Recognizing Textual Entailment Challenge.},
  author={Bentivogli, Luisa and Clark, Peter and Dagan, Ido and Giampiccolo, Danilo},
  booktitle={TAC},
  year={2009}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/ wnli

  • 設定の説明:ウィノグラードスキーマチャレンジ(レベスクら、2011)、システムは、代名詞との文章を読み、選択肢のリストからその代名詞の参照先を選択する必要がある読解タスクです。例は、単純な統計手法をくじくために手動で作成されています。それぞれは、文中の1つの単語または句によって提供されるコンテキスト情報に依存しています。問題を文のペアの分類に変換するために、あいまいな代名詞を可能な各指示対象に置き換えることによって文のペアを構築します。タスクは、代名詞が置換された文が元の文に含まれているかどうかを予測することです。元のコーパスの作成者によって個人的に共有されたフィクションの本から派生した新しい例で構成される小さな評価セットを使用します。含まれているトレーニングセットは2つのクラス間でバランスが取れていますが、テストセットはそれらの間でバランスが取れていません(65%は含意ではありません)。また、データの癖により、開発セットは敵対的です。仮説はトレーニングと開発の例の間で共有されることがあるため、モデルがトレーニングの例を記憶している場合、対応する開発セットの例で間違ったラベルを予測します。 QNLIと同様に、各例は個別に評価されるため、このタスクのモデルのスコアと、変換されていない元のタスクのスコアとの間に体系的な対応はありません。変換されたデータセットをWNLI(Winograd NLI)と呼びます。

  • ホームページhttps://cs.nyu.edu/faculty/davise/papers/WinogradSchemas/WS.html

  • ダウンロードサイズ28.32 KiB

  • データセットのサイズ198.88 KiB

  • スプリット

スプリット
'test' 146
'train' 635
'validation' 71
  • 特長
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • 引用
@inproceedings{levesque2012winograd,
  title={The winograd schema challenge},
  author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
  booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
  year={2012}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

接着剤/軸

  • 設定の説明:言語的現象の広範囲のシステム性能のきめ細かい分析のためのA手動キュレーション評価データセット。このデータセットは、自然言語推論(NLI)の問題を通じて文の理解を評価します。 MulitNLIでトレーニングされたモデルを使用して、このデータセットの予測を作成します。

  • ホームページhttps://gluebenchmark.com/diagnostics

  • ダウンロードサイズ217.05 KiB

  • データセットのサイズ299.16 KiB

  • スプリット

スプリット
'test' 1,104
  • 特長
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • 引用
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.