клей

• Описание :

GLUE, эталон оценки общего понимания языка ( https://gluebenchmark.com/ ), представляет собой набор ресурсов для обучения, оценки и анализа систем понимания естественного языка.

• Дополнительная документация : изучить документы с кодом north_east

• Исходный код : tfds.text.Glue

• Версии :

  • 1.0.0 : новый раздельный API ( https://tensorflow.org/datasets/splits )
  • 1.0.1 : Обновить мертвые URL-ссылки.
  • 2.0.0 (по умолчанию): обновить источник данных для клея/qqp.

• Автоматическое кэширование ( документация ): Да

• Ключи под наблюдением (см . документ as_supervised ): None

• Рисунок ( tfds.show_examples ): не поддерживается.

клей/кола (конфиг по умолчанию)

• Описание конфигурации : Корпус лингвистической приемлемости состоит из суждений о приемлемости английского языка, взятых из книг и журнальных статей по лингвистической теории. Каждый пример представляет собой последовательность слов, аннотированных с указанием, является ли это грамматически английским предложением.

• Домашняя страница : https://nyu-mll.github.io/CoLA/

• Размер загрузки : 368.14 KiB

• Размер набора данных : 965.49 KiB .

• Сплиты :

• Структура функции :

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence': Text(shape=(), dtype=string),
})

• Документация по функциям :

• Примеры ( tfds.as_dataframe ):

• Цитата :

@article{warstadt2018neural,
  title={Neural Network Acceptability Judgments},
  author={Warstadt, Alex and Singh, Amanpreet and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1805.12471},
  year={2018}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей/sst2

• Описание конфигурации : Stanford Sentiment Treebank состоит из предложений из обзоров фильмов и человеческих аннотаций их настроений. Задача состоит в том, чтобы предсказать настроение данного предложения. Мы используем двустороннее (положительное/отрицательное) разделение классов и используем только метки на уровне предложений.

• Домашняя страница : https://nlp.stanford.edu/sentiment/index.html

• Размер загрузки : 7.09 MiB

• Размер набора данных : 7.22 MiB .

• Сплиты :

• Структура функции :

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence': Text(shape=(), dtype=string),
})

• Документация по функциям :

• Примеры ( tfds.as_dataframe ):

• Цитата :

@inproceedings{socher2013recursive,
  title={Recursive deep models for semantic compositionality over a sentiment treebank},
  author={Socher, Richard and Perelygin, Alex and Wu, Jean and Chuang, Jason and Manning, Christopher D and Ng, Andrew and Potts, Christopher},
  booktitle={Proceedings of the 2013 conference on empirical methods in natural language processing},
  pages={1631--1642},
  year={2013}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей/мрпк

• Описание конфигурации : Microsoft Research Paraphrase Corpus (Dolan & Brockett, 2005) представляет собой корпус пар предложений, автоматически извлекаемых из онлайн-источников новостей, с человеческими аннотациями, указывающими, являются ли предложения в паре семантически эквивалентными.

• Домашняя страница : https://www.microsoft.com/en-us/download/details.aspx?id=52398 .

• Размер загрузки : 1.43 MiB

• Размер набора данных : 1.74 MiB .

• Сплиты :

• Структура функции :

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})

• Документация по функциям :

• Примеры ( tfds.as_dataframe ):

• Цитата :

@inproceedings{dolan2005automatically,
  title={Automatically constructing a corpus of sentential paraphrases},
  author={Dolan, William B and Brockett, Chris},
  booktitle={Proceedings of the Third International Workshop on Paraphrasing (IWP2005)},
  year={2005}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей/qqp

• Описание конфигурации : набор данных Quora Question Pairs2 представляет собой набор пар вопросов с веб-сайта Quora, отвечающего на вопросы сообщества. Задача состоит в том, чтобы определить, являются ли пары вопросов семантически эквивалентными.

• Домашняя страница : https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs

• Размер загрузки : 39.76 MiB .

• Размер набора данных : 150.37 MiB .

• Сплиты :

• Структура функции :

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'question1': Text(shape=(), dtype=string),
    'question2': Text(shape=(), dtype=string),
})

• Документация по функциям :

• Примеры ( tfds.as_dataframe ):

• Цитата :

@online{WinNT,
  author = {Iyer, Shankar and Dandekar, Nikhil and Csernai, Kornel},
  title = {First Quora Dataset Release: Question Pairs},
  year = 2017,
  url = {https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs},
  urldate = {2019-04-03}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей/сцб

• Описание конфигурации : Тест семантического текстового сходства (Cer et al., 2017) представляет собой набор пар предложений, взятых из заголовков новостей, подписей к видео и изображениям, а также данных логического вывода на естественном языке. Каждая пара аннотируется человеком с оценкой сходства от 0 до 5.

• Домашняя страница : http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark

• Размер загрузки : 784.05 KiB

• Размер набора данных : 1.58 MiB .

• Сплиты :

• Структура функции :

FeaturesDict({
    'idx': int32,
    'label': float32,
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})

• Документация по функциям :

• Примеры ( tfds.as_dataframe ):

• Цитата :

@article{cer2017semeval,
  title={Semeval-2017 task 1: Semantic textual similarity-multilingual and cross-lingual focused evaluation},
  author={Cer, Daniel and Diab, Mona and Agirre, Eneko and Lopez-Gazpio, Inigo and Specia, Lucia},
  journal={arXiv preprint arXiv:1708.00055},
  year={2017}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей/мнли

• Описание конфигурации : Многожанровый корпус вывода на естественном языке представляет собой краудсорсинговый набор пар предложений с текстовыми аннотациями. Учитывая предложение-посылку и предложение-гипотезу, задача состоит в том, чтобы предсказать, влечет ли посылка за собой гипотезу (заключение), противоречит ли она гипотезе (противоречие) или ни то, ни другое (нейтрально). Посылочные предложения собраны из десяти различных источников, включая транскрибированные речи, художественную литературу и правительственные отчеты. Мы используем стандартный тестовый набор, для которого мы получили частные ярлыки от авторов, и оцениваем как совпадающие (внутридоменные), так и несоответствующие (междоменные) разделы. Мы также используем и рекомендуем корпус SNLI в качестве 550 тыс. примеров вспомогательных обучающих данных.

• Домашняя страница : http://www.nyu.edu/projects/bowman/multinli/

• Размер загрузки : 298.29 MiB

• Размер набора данных : 100.56 MiB .

• Сплиты :

• Структура функции :

FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})

• Документация по функциям :

• Примеры ( tfds.as_dataframe ):

• Цитата :

@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей/mnli_mismatched

• Описание конфигурации : несоответствующая проверка и тест отделяются от MNLI. Дополнительную информацию смотрите в BuilderConfig "mnli".

• Домашняя страница : http://www.nyu.edu/projects/bowman/multinli/

• Размер загрузки : 298.29 MiB

• Размер набора данных : 4.79 MiB .

• Сплиты :

• Структура функции :

FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})

• Документация по функциям :

• Примеры ( tfds.as_dataframe ):

• Цитата :

@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей/mnli_matched

• Описание конфигурации : совпадающие проверки и тесты отделяются от MNLI. Дополнительную информацию смотрите в BuilderConfig "mnli".

• Домашняя страница : http://www.nyu.edu/projects/bowman/multinli/

• Размер загрузки : 298.29 MiB

• Размер набора данных : 4.58 MiB .

• Сплиты :

• Структура функции :

FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})

• Документация по функциям :

• Примеры ( tfds.as_dataframe ):

• Цитата :

@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей/qnli

• Описание конфигурации : Стэнфордский набор данных для ответов на вопросы — это набор данных для ответов на вопросы, состоящий из пар вопрос-абзац, где одно из предложений в абзаце (взято из Википедии) содержит ответ на соответствующий вопрос (написанный комментатором). Мы преобразуем задачу в классификацию пар предложений, формируя пару между каждым вопросом и каждым предложением в соответствующем контексте и отфильтровывая пары с низким лексическим перекрытием между вопросом и контекстным предложением. Задача состоит в том, чтобы определить, содержит ли контекстное предложение ответ на вопрос. Эта модифицированная версия исходной задачи удаляет требование, чтобы модель выбирала точный ответ, но также удаляет упрощающие предположения о том, что ответ всегда присутствует во входных данных и что лексическое перекрытие является надежным сигналом.

• Домашняя страница : https://rajpurkar.github.io/SQuAD-explorer/

• Размер загрузки : 10.14 MiB

• Размер набора данных : 32.99 MiB .

• Сплиты :

• Структура функции :

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'question': Text(shape=(), dtype=string),
    'sentence': Text(shape=(), dtype=string),
})

• Документация по функциям :

• Примеры ( tfds.as_dataframe ):

• Цитата :

@article{rajpurkar2016squad,
  title={Squad: 100,000+ questions for machine comprehension of text},
  author={Rajpurkar, Pranav and Zhang, Jian and Lopyrev, Konstantin and Liang, Percy},
  journal={arXiv preprint arXiv:1606.05250},
  year={2016}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей/рте

• Описание конфигурации : наборы данных Recognizing Textual Entailment (RTE) получены в результате серии ежегодных испытаний текстового следования. Мы объединяем данные RTE1 (Dagan et al., 2006), RTE2 (Bar Haim et al., 2006), RTE3 (Giampiccolo et al., 2007) и RTE5 (Bentivogli et al., 2009).4 Примеры: построен на основе новостей и текста Википедии. Мы преобразовываем все наборы данных в разделение на два класса, где для наборов данных из трех классов мы сворачиваем нейтральные и противоречия в неследствие для согласованности.

• Домашняя страница : https://aclweb.org/aclwiki/Recognizing_Textual_Entailment

• Размер загрузки : 680.81 KiB

• Размер набора данных : 2.15 MiB .

• Сплиты :

• Структура функции :

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})

• Документация по функциям :

• Примеры ( tfds.as_dataframe ):

• Цитата :

@inproceedings{dagan2005pascal,
  title={The PASCAL recognising textual entailment challenge},
  author={Dagan, Ido and Glickman, Oren and Magnini, Bernardo},
  booktitle={Machine Learning Challenges Workshop},
  pages={177--190},
  year={2005},
  organization={Springer}
}
@inproceedings{bar2006second,
  title={The second pascal recognising textual entailment challenge},
  author={Bar-Haim, Roy and Dagan, Ido and Dolan, Bill and Ferro, Lisa and Giampiccolo, Danilo and Magnini, Bernardo and Szpektor, Idan},
  booktitle={Proceedings of the second PASCAL challenges workshop on recognising textual entailment},
  volume={6},
  number={1},
  pages={6--4},
  year={2006},
  organization={Venice}
}
@inproceedings{giampiccolo2007third,
  title={The third pascal recognizing textual entailment challenge},
  author={Giampiccolo, Danilo and Magnini, Bernardo and Dagan, Ido and Dolan, Bill},
  booktitle={Proceedings of the ACL-PASCAL workshop on textual entailment and paraphrasing},
  pages={1--9},
  year={2007},
  organization={Association for Computational Linguistics}
}
@inproceedings{bentivogli2009fifth,
  title={The Fifth PASCAL Recognizing Textual Entailment Challenge.},
  author={Bentivogli, Luisa and Clark, Peter and Dagan, Ido and Giampiccolo, Danilo},
  booktitle={TAC},
  year={2009}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей/wnli

• Описание конфигурации : Winograd Schema Challenge (Levesque et al., 2011) — это задача на понимание прочитанного, в которой система должна прочитать предложение с местоимением и выбрать референт этого местоимения из списка вариантов. Примеры составлены вручную, чтобы помешать простым статистическим методам: каждый из них зависит от контекстной информации, предоставляемой одним словом или фразой в предложении. Чтобы преобразовать проблему в классификацию пар предложений, мы строим пары предложений, заменяя неоднозначное местоимение каждым возможным референтом. Задача состоит в том, чтобы предсказать, является ли предложение с замещенным местоимением следствием исходного предложения. Мы используем небольшой оценочный набор, состоящий из новых примеров, взятых из художественных книг, которыми в частном порядке поделились авторы оригинального корпуса. В то время как включенный обучающий набор сбалансирован между двумя классами, тестовый набор несбалансирован между ними (65% не связаны). Кроме того, из-за причуды данных набор для разработки является состязательным: гипотезы иногда разделяются между примерами для обучения и для разработки, поэтому, если модель запоминает примеры для обучения, они будут предсказывать неправильную метку в соответствующем примере набора для разработки. Как и в случае с QNLI, каждый пример оценивается отдельно, поэтому нет систематического соответствия между оценкой модели в этой задаче и ее оценкой в ​​непреобразованной исходной задаче. Мы называем преобразованный набор данных WNLI (Winograd NLI).

• Домашняя страница : https://cs.nyu.edu/faculty/davise/papers/WinogradSchemas/WS.html

• Размер загрузки : 28.32 KiB

• Размер набора данных : 198.88 KiB

• Сплиты :

• Структура функции :

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})

• Документация по функциям :

• Примеры ( tfds.as_dataframe ):

• Цитата :

@inproceedings{levesque2012winograd,
  title={The winograd schema challenge},
  author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
  booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
  year={2012}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

клей/топор

• Описание конфигурации : созданный вручную оценочный набор данных для детального анализа производительности системы по широкому спектру лингвистических явлений. Этот набор данных оценивает понимание предложений с помощью задач вывода на естественном языке (NLI). Используйте модель, обученную на MulitNLI, для получения прогнозов для этого набора данных.

• Домашняя страница : https://gluebenchmark.com/diagnostics

• Размер загрузки : 217.05 KiB

• Размер набора данных : 299.16 KiB .

• Сплиты :

• Структура функции :

FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})

• Документация по функциям :

• Примеры ( tfds.as_dataframe ):

• Цитата :

@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.