klej

Zadbaj o dobrą organizację dzięki kolekcji Zapisuj i kategoryzuj treści zgodnie ze swoimi preferencjami.

  • opis :

GLUE, ogólny test porównawczy oceny rozumienia języka ( https://gluebenchmark.com/ ) to zbiór zasobów do szkolenia, oceny i analizy systemów rozumienia języka naturalnego.

klej/cola (domyślna konfiguracja)

  • Opis konfiguracji : Corpus of Linguistic Acceptability składa się z angielskich osądów akceptowalności zaczerpniętych z książek i artykułów z czasopism poświęconych teorii lingwistyki. Każdy przykład to sekwencja słów z adnotacją, czy jest to angielskie zdanie gramatyczne.

  • Strona główna : https://nyu-mll.github.io/CoLA/

  • Rozmiar pliku do pobrania : 368.14 KiB

  • Rozmiar zbioru danych : 965.49 KiB

  • Podziały :

Rozdzielać Przykłady
'test' 1063
'train' 8551
'validation' 1043
  • Struktura funkcji :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence': Text(shape=(), dtype=string),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
idx Napinacz int32
etykieta Etykieta klasy int64
wyrok Tekst strunowy
  • Cytat :
@article{warstadt2018neural,
  title={Neural Network Acceptability Judgments},
  author={Warstadt, Alex and Singh, Amanpreet and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1805.12471},
  year={2018}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

klej/stal2

  • Opis konfiguracji: Stanford Sentiment Treebank składa się ze zdań z recenzji filmów i ludzkich adnotacji na temat ich opinii. Zadanie polega na przewidzeniu nastrojów danego zdania. Używamy dwukierunkowego (pozytywnego/negatywnego) podziału klas i używamy tylko etykiet na poziomie zdania.

  • Strona główna : https://nlp.stanford.edu/sentiment/index.html

  • Rozmiar pliku do pobrania : 7.09 MiB

  • Rozmiar zestawu danych : 7.22 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 1821
'train' 67349
'validation' 872
  • Struktura funkcji :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence': Text(shape=(), dtype=string),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
idx Napinacz int32
etykieta Etykieta klasy int64
wyrok Tekst strunowy
  • Cytat :
@inproceedings{socher2013recursive,
  title={Recursive deep models for semantic compositionality over a sentiment treebank},
  author={Socher, Richard and Perelygin, Alex and Wu, Jean and Chuang, Jason and Manning, Christopher D and Ng, Andrew and Potts, Christopher},
  booktitle={Proceedings of the 2013 conference on empirical methods in natural language processing},
  pages={1631--1642},
  year={2013}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

klej/mrpc

  • Opis konfiguracji : Microsoft Research Paraphrase Corpus (Dolan & Brockett, 2005) jest zbiorem par zdań automatycznie wyodrębnionych z internetowych źródeł wiadomości, z adnotacjami ludzkimi dotyczącymi tego, czy zdania w parze są semantycznie równoważne.

  • Strona główna : https://www.microsoft.com/en-us/download/details.aspx?id=52398

  • Rozmiar pliku do pobrania : 1.43 MiB

  • Rozmiar zestawu danych : 1.74 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 1725
'train' 3668
'validation' 408
  • Struktura funkcji :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
idx Napinacz int32
etykieta Etykieta klasy int64
zdanie 1 Tekst strunowy
zdanie2 Tekst strunowy
  • Cytat :
@inproceedings{dolan2005automatically,
  title={Automatically constructing a corpus of sentential paraphrases},
  author={Dolan, William B and Brockett, Chris},
  booktitle={Proceedings of the Third International Workshop on Paraphrasing (IWP2005)},
  year={2005}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

klej/qqp

  • Opis konfiguracji: Zestaw danych Quora Question Pairs2 to zbiór par pytań ze społecznościowej witryny internetowej Quora, w której można udzielać odpowiedzi na pytania. Zadanie polega na ustaleniu, czy para pytań jest semantycznie równoważna.

  • Strona główna : https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs

  • Rozmiar pliku do pobrania : 39.76 MiB

  • Rozmiar zestawu danych : 150.37 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 390 965
'train' 363846
'validation' 40430
  • Struktura funkcji :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'question1': Text(shape=(), dtype=string),
    'question2': Text(shape=(), dtype=string),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
idx Napinacz int32
etykieta Etykieta klasy int64
Pytanie 1 Tekst strunowy
pytanie 2 Tekst strunowy
  • Cytat :
@online{WinNT,
  author = {Iyer, Shankar and Dandekar, Nikhil and Csernai, Kornel},
  title = {First Quora Dataset Release: Question Pairs},
  year = 2017,
  url = {https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs},
  urldate = {2019-04-03}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

klej/szt

  • Opis konfiguracji : test porównawczy podobieństwa semantycznego tekstu (Cer i in., 2017) to zbiór par zdań zaczerpniętych z nagłówków wiadomości, podpisów wideo i obrazów oraz danych wnioskowania w języku naturalnym. Każda para jest opisana przez człowieka z wynikiem podobieństwa od 0 do 5.

  • Strona główna : http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark

  • Rozmiar pliku do pobrania : 784.05 KiB

  • Rozmiar zestawu danych : 1.58 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 1379
'train' 5749
'validation' 1500
  • Struktura funkcji :
FeaturesDict({
    'idx': int32,
    'label': float32,
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
idx Napinacz int32
etykieta Napinacz pływak32
zdanie 1 Tekst strunowy
zdanie2 Tekst strunowy
  • Cytat :
@article{cer2017semeval,
  title={Semeval-2017 task 1: Semantic textual similarity-multilingual and cross-lingual focused evaluation},
  author={Cer, Daniel and Diab, Mona and Agirre, Eneko and Lopez-Gazpio, Inigo and Specia, Lucia},
  journal={arXiv preprint arXiv:1708.00055},
  year={2017}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

klej/ml

  • Opis konfiguracji : korpus wnioskowania o wielu gatunkach języka naturalnego to gromadzona w ramach crowdsourcingu kolekcja par zdań z adnotacjami wynikającymi z tekstu. Biorąc pod uwagę zdanie z przesłanką i zdanie z hipotezą, zadaniem jest przewidzenie, czy przesłanka pociąga za sobą hipotezę (zaangażowanie), jest sprzeczna z hipotezą (sprzeczność), czy też nie (neutralna). Zdania przesłanek są zbierane z dziesięciu różnych źródeł, w tym transkrybowanych przemówień, fikcji i raportów rządowych. Korzystamy ze standardowego zestawu testów, dla którego uzyskaliśmy prywatne etykiety od autorów, i oceniamy zarówno w sekcji dopasowanej (w domenie), jak i niedopasowanej (międzydomenowej). Używamy również i polecamy korpus SNLI jako 550 000 przykładów pomocniczych danych treningowych.

  • Strona główna : http://www.nyu.edu/projects/bowman/multinli/

  • Rozmiar pliku do pobrania : 298.29 MiB

  • Rozmiar zestawu danych : 100.56 MiB

  • Podziały :

Rozdzielać Przykłady
'test_matched' 9796
'test_mismatched' 9847
'train' 392702
'validation_matched' 9815
'validation_mismatched' 9832
  • Struktura funkcji :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
hipoteza Tekst strunowy
idx Napinacz int32
etykieta Etykieta klasy int64
przesłanka Tekst strunowy
  • Cytat :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

klej/mnli_mismatched

  • Opis konfiguracji: niedopasowane podziały sprawdzania poprawności i testów z MNLI. Zobacz „mnli” BuilderConfig, aby uzyskać dodatkowe informacje.

  • Strona główna : http://www.nyu.edu/projects/bowman/multinli/

  • Rozmiar pliku do pobrania : 298.29 MiB

  • Rozmiar zestawu danych : 4.79 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 9847
'validation' 9832
  • Struktura funkcji :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
hipoteza Tekst strunowy
idx Napinacz int32
etykieta Etykieta klasy int64
przesłanka Tekst strunowy
  • Cytat :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

klej/mnli_dopasowany

  • Opis konfiguracji: dopasowana walidacja i podziały testów z MNLI. Zobacz „mnli” BuilderConfig, aby uzyskać dodatkowe informacje.

  • Strona główna : http://www.nyu.edu/projects/bowman/multinli/

  • Rozmiar pliku do pobrania : 298.29 MiB

  • Rozmiar zestawu danych : 4.58 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 9796
'validation' 9815
  • Struktura funkcji :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
hipoteza Tekst strunowy
idx Napinacz int32
etykieta Etykieta klasy int64
przesłanka Tekst strunowy
  • Cytat :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

klej/qnli

  • Opis konfiguracji : Stanford Question Answering Dataset to zestaw danych odpowiadający na pytania, składający się z par akapitów pytanie, gdzie jedno ze zdań w akapicie (zaczerpnięte z Wikipedii) zawiera odpowiedź na odpowiednie pytanie (napisane przez adnotatora). Przekształcamy zadanie w klasyfikację par zdań, tworząc parę między każdym pytaniem i każdym zdaniem w odpowiednim kontekście i odfiltrowując pary o niskim nakładzie leksykalnym między pytaniem a zdaniem kontekstu. Zadanie polega na ustaleniu, czy zdanie kontekstowe zawiera odpowiedź na pytanie. Ta zmodyfikowana wersja oryginalnego zadania usuwa wymóg, aby model wybierał dokładną odpowiedź, ale także usuwa upraszczające założenia, że ​​odpowiedź jest zawsze obecna na wejściu, a nakładanie się leksykalne jest niezawodną wskazówką.

  • Strona główna : https://rajpurkar.github.io/SQuAD-explorer/

  • Rozmiar pliku do pobrania : 10.14 MiB

  • Rozmiar zestawu danych : 32.99 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 5463
'train' 104743
'validation' 5463
  • Struktura funkcji :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'question': Text(shape=(), dtype=string),
    'sentence': Text(shape=(), dtype=string),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
idx Napinacz int32
etykieta Etykieta klasy int64
pytanie Tekst strunowy
wyrok Tekst strunowy
  • Cytat :
@article{rajpurkar2016squad,
  title={Squad: 100,000+ questions for machine comprehension of text},
  author={Rajpurkar, Pranav and Zhang, Jian and Lopyrev, Konstantin and Liang, Percy},
  journal={arXiv preprint arXiv:1606.05250},
  year={2016}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

klej/rte

  • Opis konfiguracji: zestawy danych Recognizing Textual Entailment (RTE) pochodzą z serii corocznych wyzwań związanych z wynikaniem tekstu. Łączymy dane z RTE1 (Dagan i in., 2006), RTE2 (Bar Haim i in., 2006), RTE3 (Giampiccolo i in., 2007) oraz RTE5 (Bentivogli i in., 2009).4 Przykładami są zbudowany na podstawie wiadomości i tekstu z Wikipedii. Konwertujemy wszystkie zestawy danych na podział na dwie klasy, gdzie dla zestawów danych na trzy klasy zwijamy neutralność i sprzeczność w brak implikacji, aby zachować spójność.

  • Strona główna : https://aclweb.org/aclwiki/Recognizing_Textual_Entailment

  • Rozmiar pliku do pobrania : 680.81 KiB

  • Rozmiar zestawu danych : 2.15 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 3000
'train' 2490
'validation' 277
  • Struktura funkcji :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
idx Napinacz int32
etykieta Etykieta klasy int64
zdanie 1 Tekst strunowy
zdanie2 Tekst strunowy
  • Cytat :
@inproceedings{dagan2005pascal,
  title={The PASCAL recognising textual entailment challenge},
  author={Dagan, Ido and Glickman, Oren and Magnini, Bernardo},
  booktitle={Machine Learning Challenges Workshop},
  pages={177--190},
  year={2005},
  organization={Springer}
}
@inproceedings{bar2006second,
  title={The second pascal recognising textual entailment challenge},
  author={Bar-Haim, Roy and Dagan, Ido and Dolan, Bill and Ferro, Lisa and Giampiccolo, Danilo and Magnini, Bernardo and Szpektor, Idan},
  booktitle={Proceedings of the second PASCAL challenges workshop on recognising textual entailment},
  volume={6},
  number={1},
  pages={6--4},
  year={2006},
  organization={Venice}
}
@inproceedings{giampiccolo2007third,
  title={The third pascal recognizing textual entailment challenge},
  author={Giampiccolo, Danilo and Magnini, Bernardo and Dagan, Ido and Dolan, Bill},
  booktitle={Proceedings of the ACL-PASCAL workshop on textual entailment and paraphrasing},
  pages={1--9},
  year={2007},
  organization={Association for Computational Linguistics}
}
@inproceedings{bentivogli2009fifth,
  title={The Fifth PASCAL Recognizing Textual Entailment Challenge.},
  author={Bentivogli, Luisa and Clark, Peter and Dagan, Ido and Giampiccolo, Danilo},
  booktitle={TAC},
  year={2009}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

klej/wli

  • Opis konfiguracji : Winograd Schema Challenge (Levesque et al., 2011) to zadanie polegające na czytaniu ze zrozumieniem, w którym system musi przeczytać zdanie z zaimkiem i wybrać odpowiednik tego zaimka z listy do wyboru. Przykłady są tworzone ręcznie, aby udaremnić proste metody statystyczne: każdy z nich jest zależny od informacji kontekstowych dostarczonych przez pojedyncze słowo lub frazę w zdaniu. Aby przekształcić problem w klasyfikację par zdań, konstruujemy pary zdań, zastępując zaimek wieloznaczny każdym możliwym desygnatem. Zadanie polega na przewidzeniu, czy zdanie z podstawionym zaimkiem wynika ze zdania pierwotnego. Używamy małego zestawu ewaluacyjnego składającego się z nowych przykładów pochodzących z książek beletrystycznych, które zostały udostępnione prywatnie przez autorów oryginalnego korpusu. Podczas gdy dołączony zestaw treningowy jest zrównoważony między dwiema klasami, zestaw testowy jest niezrównoważony między nimi (65% bez implikacji). Ponadto, ze względu na dziwactwo danych, zestaw rozwojowy jest przeciwny: hipotezy są czasami dzielone między przykładami szkoleniowymi i rozwojowymi, więc jeśli model zapamiętuje przykłady szkoleniowe, przewidzi niewłaściwą etykietę na odpowiednim przykładzie zestawu rozwojowego. Podobnie jak w przypadku QNLI, każdy przykład jest oceniany osobno, więc nie ma systematycznej zgodności między wynikiem modelu w tym zadaniu a jego wynikiem w nieprzekształconym oryginalnym zadaniu. Przekonwertowany zbiór danych nazywamy WNLI (Winograd NLI).

  • Strona główna : https://cs.nyu.edu/faculty/davise/papers/WinogradSchemas/WS.html

  • Rozmiar pliku do pobrania : 28.32 KiB

  • Rozmiar zbioru danych : 198.88 KiB

  • Podziały :

Rozdzielać Przykłady
'test' 146
'train' 635
'validation' 71
  • Struktura funkcji :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
idx Napinacz int32
etykieta Etykieta klasy int64
zdanie 1 Tekst strunowy
zdanie2 Tekst strunowy
  • Cytat :
@inproceedings{levesque2012winograd,
  title={The winograd schema challenge},
  author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
  booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
  year={2012}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

klej/siekiera

  • Opis konfiguracji : ręcznie wybierany zestaw danych ewaluacyjnych do szczegółowej analizy wydajności systemu w szerokim zakresie zjawisk językowych. Ten zestaw danych ocenia rozumienie zdań za pomocą problemów wnioskowania w języku naturalnym (NLI). Użyj modelu przeszkolonego w MulitNLI, aby wygenerować prognozy dla tego zestawu danych.

  • Strona główna : https://gluebenchmark.com/diagnostics

  • Rozmiar pliku do pobrania : 217.05 KiB

  • Rozmiar zbioru danych : 299.16 KiB

  • Podziały :

Rozdzielać Przykłady
'test' 1104
  • Struktura funkcji :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
hipoteza Tekst strunowy
idx Napinacz int32
etykieta Etykieta klasy int64
przesłanka Tekst strunowy
  • Cytat :
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.