Эта страница была переведа с помощью Cloud Translation API.
Switch to English

клей

  • Описание :

GLUE, тест General Language Understanding Evaluation ( https://gluebenchmark.com/ ), представляет собой набор ресурсов для обучения, оценки и анализа систем понимания естественного языка.

  • Исходный код : tfds.text.Glue

  • Версии :

    • 1.0.0 (по умолчанию): без примечаний к выпуску.
  • Размер набора данных : Unknown size

  • Автоматическое кэширование ( документация ): неизвестно

  • Контролируемые ключи (см. as_supervised doc ): None

  • Рисунок ( tfds.show_examples ): не поддерживается.

клей / кола (конфигурация по умолчанию)

  • Описание конфигурации : Корпус языковой приемлемости состоит из оценок приемлемости английского языка, взятых из книг и журнальных статей по теории лингвистики. Каждый пример представляет собой последовательность слов с пометкой, является ли это грамматическим английским предложением.

  • Домашняя страница : https://nyu-mll.github.io/CoLA/

  • Размер загрузки : 368.14 KiB

  • Сплит :

Трещина Примеры
'test' 1,063
'train' 8,551
'validation' 1,043
  • Особенности :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • Цитата :
@article{warstadt2018neural,
  title={Neural Network Acceptability Judgments},
  author={Warstadt, Alex and Singh, Amanpreet and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1805.12471},
  year={2018}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей / sst2

  • Описание конфигурации : Stanford Sentiment Treebank состоит из предложений из обзоров фильмов и человеческих комментариев с их мнениями. Задача состоит в том, чтобы предсказать тональность данного предложения. Мы используем двухстороннее (положительное / отрицательное) разделение классов и используем только метки на уровне предложения.

  • Домашняя страница : https://nlp.stanford.edu/sentiment/index.html

  • Размер загрузки : 7.09 MiB

  • Сплит :

Трещина Примеры
'test' 1821
'train' 67 349
'validation' 872
  • Особенности :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • Цитата :
@inproceedings{socher2013recursive,
  title={Recursive deep models for semantic compositionality over a sentiment treebank},
  author={Socher, Richard and Perelygin, Alex and Wu, Jean and Chuang, Jason and Manning, Christopher D and Ng, Andrew and Potts, Christopher},
  booktitle={Proceedings of the 2013 conference on empirical methods in natural language processing},
  pages={1631--1642},
  year={2013}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей / мрпк

  • Описание конфигурации : Microsoft Research Paraphrase Corpus (Dolan & Brockett, 2005) - это корпус пар предложений, автоматически извлекаемых из сетевых источников новостей, с человеческими аннотациями для определения того, являются ли предложения в паре семантически эквивалентными.

  • Домашняя страница : https://www.microsoft.com/en-us/download/details.aspx?id=52398

  • Размер загрузки : 1.43 MiB

  • Сплит :

Трещина Примеры
'test' 1,725
'train' 3,668
'validation' 408
  • Особенности :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • Цитата :
@inproceedings{dolan2005automatically,
  title={Automatically constructing a corpus of sentential paraphrases},
  author={Dolan, William B and Brockett, Chris},
  booktitle={Proceedings of the Third International Workshop on Paraphrasing (IWP2005)},
  year={2005}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей / qqp

  • Описание конфигурации : Набор данных Quora Question Pairs2 - это набор пар вопросов с сайта сообщества Quora, отвечающего на вопросы. Задача состоит в том, чтобы определить, являются ли пары вопросов семантически эквивалентными.

  • Домашняя страница : https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs

  • Размер загрузки : 57.73 MiB

  • Сплит :

Трещина Примеры
'test' 390 965
'train' 363 849
'validation' 40 430
  • Особенности :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'question1': Text(shape=(), dtype=tf.string),
    'question2': Text(shape=(), dtype=tf.string),
})
  • Цитата :
@online{WinNT,
  author = {Iyer, Shankar and Dandekar, Nikhil and Csernai, Kornel},
  title = {First Quora Dataset Release: Question Pairs},
  year = 2017,
  url = {https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs},
  urldate = {2019-04-03}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей / стсб

  • Описание конфигурации : тест семантического текстового сходства (Cer et al., 2017) - это набор пар предложений, взятых из заголовков новостей, подписей к видео и изображениям, а также данных логического вывода на естественном языке. Каждая пара аннотирована человеком с оценкой сходства от 1 до 5.

  • Домашняя страница : http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark

  • Размер загрузки : 784.05 KiB

  • Сплит :

Трещина Примеры
'test' 1,379
'train' 5749
'validation' 1,500
  • Особенности :
FeaturesDict({
    'idx': tf.int32,
    'label': tf.float32,
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • Цитата :
@article{cer2017semeval,
  title={Semeval-2017 task 1: Semantic textual similarity-multilingual and cross-lingual focused evaluation},
  author={Cer, Daniel and Diab, Mona and Agirre, Eneko and Lopez-Gazpio, Inigo and Specia, Lucia},
  journal={arXiv preprint arXiv:1708.00055},
  year={2017}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей / мнли

  • Описание конфигурации : Multi-Genre Natural Language Inference Corpus - это краудсорсинговая коллекция пар предложений с текстовыми аннотациями. Учитывая предложение предпосылки и предложение гипотезы, задача состоит в том, чтобы предсказать, влечет ли предпосылка гипотезу (следствие), противоречит гипотезе (противоречие) или нет (нейтрально). Предложения-предпосылки собраны из десяти различных источников, включая расшифровку речи, художественную литературу и правительственные отчеты. Мы используем стандартный набор тестов, для которого мы получили частные марки от авторов, и оцениваем как совпавшие (в домене), так и несовпадающие (кросс-доменные) разделы. Мы также используем и рекомендуем корпус SNLI как 550 000 примеров вспомогательных обучающих данных.

  • Домашняя страница : http://www.nyu.edu/projects/bowman/multinli/

  • Размер загрузки : 298.29 MiB

  • Сплит :

Трещина Примеры
'test_matched' 9 796
'test_mismatched' 9 847
'train' 392 702
'validation_matched' 9 815
'validation_mismatched' 9832
  • Особенности :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • Цитата :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей / mnli_mismatched

  • Описание конфигурации : несоответствие проверки и тестирования отделяется от MNLI. См. «Mnli» BuilderConfig для получения дополнительной информации.

  • Домашняя страница : http://www.nyu.edu/projects/bowman/multinli/

  • Размер загрузки : 298.29 MiB

  • Сплит :

Трещина Примеры
'test' 9 847
'validation' 9832
  • Особенности :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • Цитата :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей / мнли_матч

  • Описание конфигурации : согласованная проверка и тест отделяются от MNLI. См. "Mnli" BuilderConfig для получения дополнительной информации.

  • Домашняя страница : http://www.nyu.edu/projects/bowman/multinli/

  • Размер загрузки : 298.29 MiB

  • Сплит :

Трещина Примеры
'test' 9 796
'validation' 9 815
  • Особенности :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • Цитата :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей / qnli

  • Описание конфигурации : Стэнфордский набор данных с ответами на вопросы - это набор данных с ответами на вопросы, состоящий из пар вопрос-абзац, где одно из предложений в абзаце (взятых из Википедии) содержит ответ на соответствующий вопрос (написанный аннотатором). Мы преобразовываем задачу в классификацию пар предложений, формируя пару между каждым вопросом и каждым предложением в соответствующем контексте и отфильтровывая пары с низким лексическим перекрытием между вопросом и контекстным предложением. Задача - определить, содержит ли контекстное предложение ответ на вопрос. Эта модифицированная версия исходной задачи устраняет требование, чтобы модель выбирала точный ответ, но также удаляет упрощающие предположения о том, что ответ всегда присутствует во входных данных и что лексическое перекрытие является надежным сигналом.

  • Домашняя страница : https://rajpurkar.github.io/SQuAD-explorer/

  • Размер загрузки : 10.14 MiB

  • Сплит :

Трещина Примеры
'test' 5 463
'train' 104 743
'validation' 5 463
  • Особенности :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'question': Text(shape=(), dtype=tf.string),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • Цитата :
@article{rajpurkar2016squad,
  title={Squad: 100,000+ questions for machine comprehension of text},
  author={Rajpurkar, Pranav and Zhang, Jian and Lopyrev, Konstantin and Liang, Percy},
  journal={arXiv preprint arXiv:1606.05250},
  year={2016}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей / rte

  • Описание конфигурации . Наборы данных «Распознавание текстового ввода» (RTE) являются результатом серии ежегодных задач текстового вывода. Мы объединяем данные RTE1 (Dagan et al., 2006), RTE2 (Bar Haim et al., 2006), RTE3 (Giampiccolo et al., 2007) и RTE5 (Bentivogli et al., 2009) .4 Примеры: построено на основе новостей и текста Википедии. Мы преобразуем все наборы данных в разделение на два класса, где для наборов данных из трех классов мы сворачиваем нейтральный, а противоречие в отсутствие следствия для согласованности.

  • Домашняя страница : https://aclweb.org/aclwiki/Recognizing_Textual_Entailment

  • Размер загрузки : 680.81 KiB

  • Сплит :

Трещина Примеры
'test' 3 000
'train' 2,490
'validation' 277
  • Особенности :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • Цитата :
@inproceedings{dagan2005pascal,
  title={The PASCAL recognising textual entailment challenge},
  author={Dagan, Ido and Glickman, Oren and Magnini, Bernardo},
  booktitle={Machine Learning Challenges Workshop},
  pages={177--190},
  year={2005},
  organization={Springer}
}
@inproceedings{bar2006second,
  title={The second pascal recognising textual entailment challenge},
  author={Bar-Haim, Roy and Dagan, Ido and Dolan, Bill and Ferro, Lisa and Giampiccolo, Danilo and Magnini, Bernardo and Szpektor, Idan},
  booktitle={Proceedings of the second PASCAL challenges workshop on recognising textual entailment},
  volume={6},
  number={1},
  pages={6--4},
  year={2006},
  organization={Venice}
}
@inproceedings{giampiccolo2007third,
  title={The third pascal recognizing textual entailment challenge},
  author={Giampiccolo, Danilo and Magnini, Bernardo and Dagan, Ido and Dolan, Bill},
  booktitle={Proceedings of the ACL-PASCAL workshop on textual entailment and paraphrasing},
  pages={1--9},
  year={2007},
  organization={Association for Computational Linguistics}
}
@inproceedings{bentivogli2009fifth,
  title={The Fifth PASCAL Recognizing Textual Entailment Challenge.},
  author={Bentivogli, Luisa and Clark, Peter and Dagan, Ido and Giampiccolo, Danilo},
  booktitle={TAC},
  year={2009}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей / wnli

  • Описание конфигурации : Winograd Schema Challenge (Levesque et al., 2011) - это задача понимания прочитанного, в которой система должна прочитать предложение с местоимением и выбрать референт этого местоимения из списка вариантов. Примеры составлены вручную, чтобы обойти простые статистические методы: каждый из них зависит от контекстной информации, представленной одним словом или фразой в предложении. Чтобы преобразовать проблему в классификацию пар предложений, мы создаем пары предложений, заменяя неоднозначное местоимение каждым возможным референтом. Задача состоит в том, чтобы предсказать, следует ли предложение с замененным местоимением исходным предложением. Мы используем небольшой оценочный набор, состоящий из новых примеров, взятых из художественных книг, которыми в частном порядке поделились авторы оригинального корпуса. В то время как включенный обучающий набор сбалансирован между двумя классами, набор тестов несбалансирован между ними (65% не влечет). Кроме того, из-за причуды данных набор разработки является состязательным: гипотезы иногда разделяются между примерами обучения и разработки, поэтому, если модель запоминает примеры обучения, они предсказывают неправильную метку в соответствующем примере набора разработки. Как и в случае с QNLI, каждый пример оценивается отдельно, поэтому нет систематического соответствия между оценкой модели за эту задачу и ее оценкой за непреобразованную исходную задачу. Мы называем преобразованный набор данных WNLI (Winograd NLI).

  • Домашняя страница : https://cs.nyu.edu/faculty/davise/papers/WinogradSchemas/WS.html

  • Размер загрузки : 28.32 KiB

  • Сплит :

Трещина Примеры
'test' 146
'train' 635
'validation' 71
  • Особенности :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • Цитата :
@inproceedings{levesque2012winograd,
  title={The winograd schema challenge},
  author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
  booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
  year={2012}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей / топор

  • Описание конфигурации : подобранный вручную набор оценочных данных для детального анализа производительности системы по широкому кругу языковых явлений. Этот набор данных оценивает понимание предложения с помощью проблем с выводом на естественный язык (NLI). Используйте модель, обученную на MulitNLI, чтобы делать прогнозы для этого набора данных.

  • Домашняя страница : https://gluebenchmark.com/diagnostics

  • Размер загрузки : 217.05 KiB

  • Сплит :

Трещина Примеры
'test' 1 104
  • Особенности :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • Цитата :
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.