zamk

  • Açıklama :

GLUE, Genel Dil Anlama Değerlendirmesi kıyaslaması ( https://gluebenchmark.com/ ), doğal dil anlama sistemlerini eğitmek, değerlendirmek ve analiz etmek için bir kaynak koleksiyonudur.

tutkal/kola (varsayılan yapılandırma)

  • Yapılandırma açıklaması : Dilbilimsel Kabul Edilebilirlik Külliyatı, dilbilim teorisi üzerine kitaplardan ve dergi makalelerinden alınan İngilizce kabul edilebilirlik yargılarından oluşur. Her örnek, gramerle ilgili bir İngilizce cümle olup olmadığı ile açıklamalı bir kelime dizisidir.

  • Ana Sayfa : https://nyu-mll.github.io/CoLA/

  • İndirme boyutu : 368.14 KiB

  • Veri kümesi boyutu : 965.49 KiB

  • bölmeler :

Bölmek örnekler
'test' 1.063
'train' 8.551
'validation' 1.043
  • Özellik yapısı :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
idx tensör int32
etiket SınıfEtiketi int64
cümle Metin sicim
  • Alıntı :
@article{warstadt2018neural,
  title={Neural Network Acceptability Judgments},
  author={Warstadt, Alex and Singh, Amanpreet and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1805.12471},
  year={2018}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

yapıştırıcı/sst2

  • Yapılandırma açıklaması : Stanford Duyarlılık Ağaç Bankası, film incelemelerinden alınan cümlelerden ve duygularına ilişkin insan açıklamalarından oluşur. Görev, belirli bir cümlenin duygusunu tahmin etmektir. İki yönlü (olumlu/olumsuz) sınıf ayrımı kullanıyoruz ve yalnızca cümle düzeyinde etiketler kullanıyoruz.

  • Ana Sayfa : https://nlp.stanford.edu/sentiment/index.html

  • İndirme boyutu : 7.09 MiB

  • Veri kümesi boyutu : 7.22 MiB

  • bölmeler :

Bölmek örnekler
'test' 1.821
'train' 67.349
'validation' 872
  • Özellik yapısı :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
idx tensör int32
etiket SınıfEtiketi int64
cümle Metin sicim
  • Alıntı :
@inproceedings{socher2013recursive,
  title={Recursive deep models for semantic compositionality over a sentiment treebank},
  author={Socher, Richard and Perelygin, Alex and Wu, Jean and Chuang, Jason and Manning, Christopher D and Ng, Andrew and Potts, Christopher},
  booktitle={Proceedings of the 2013 conference on empirical methods in natural language processing},
  pages={1631--1642},
  year={2013}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

yapıştırıcı/mrpc

  • Yapılandırma açıklaması : Microsoft Araştırma Açıklama Derlemi (Dolan & Brockett, 2005), çiftteki cümlelerin anlamsal olarak eşdeğer olup olmadığına dair insan açıklamalarıyla çevrimiçi haber kaynaklarından otomatik olarak çıkarılan bir cümle çiftleri külliyatıdır.

  • Ana Sayfa : https://www.microsoft.com/en-us/download/details.aspx?id=52398

  • İndirme boyutu : 1.43 MiB

  • Veri kümesi boyutu : 1.74 MiB

  • bölmeler :

Bölmek örnekler
'test' 1.725
'train' 3.668
'validation' 408
  • Özellik yapısı :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
idx tensör int32
etiket SınıfEtiketi int64
cümle1 Metin sicim
cümle2 Metin sicim
  • Alıntı :
@inproceedings{dolan2005automatically,
  title={Automatically constructing a corpus of sentential paraphrases},
  author={Dolan, William B and Brockett, Chris},
  booktitle={Proceedings of the Third International Workshop on Paraphrasing (IWP2005)},
  year={2005}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

yapıştırıcı/qqp

  • Yapılandırma açıklaması : Quora Question Pairs2 veri kümesi, topluluk soru yanıt web sitesi Quora'dan alınan bir soru çiftleri koleksiyonudur. Görev, bir çift sorunun anlamsal olarak eşdeğer olup olmadığını belirlemektir.

  • Ana sayfa : https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs

  • İndirme boyutu : 39.76 MiB

  • Veri kümesi boyutu : 150.37 MiB

  • bölmeler :

Bölmek örnekler
'test' 390.965
'train' 363.846
'validation' 40.430
  • Özellik yapısı :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'question1': Text(shape=(), dtype=string),
    'question2': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
idx tensör int32
etiket SınıfEtiketi int64
soru 1 Metin sicim
soru 2 Metin sicim
  • Alıntı :
@online{WinNT,
  author = {Iyer, Shankar and Dandekar, Nikhil and Csernai, Kornel},
  title = {First Quora Dataset Release: Question Pairs},
  year = 2017,
  url = {https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs},
  urldate = {2019-04-03}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

yapıştırıcı/stsb

  • Yapılandırma açıklaması : Anlamsal Metinsel Benzerlik Kıyaslaması (Cer ve diğ., 2017), haber başlıklarından, video ve resim altyazılarından ve doğal dil çıkarım verilerinden alınan bir cümle çiftleri koleksiyonudur. Her çift, 0 ila 5 arasında bir benzerlik puanı ile insan açıklamalıdır.

  • Ana Sayfa : http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark

  • İndirme boyutu : 784.05 KiB

  • Veri kümesi boyutu : 1.58 MiB

  • bölmeler :

Bölmek örnekler
'test' 1.379
'train' 5.749
'validation' 1.500
  • Özellik yapısı :
FeaturesDict({
    'idx': int32,
    'label': float32,
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
idx tensör int32
etiket tensör şamandıra32
cümle1 Metin sicim
cümle2 Metin sicim
  • Alıntı :
@article{cer2017semeval,
  title={Semeval-2017 task 1: Semantic textual similarity-multilingual and cross-lingual focused evaluation},
  author={Cer, Daniel and Diab, Mona and Agirre, Eneko and Lopez-Gazpio, Inigo and Specia, Lucia},
  journal={arXiv preprint arXiv:1708.00055},
  year={2017}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

yapıştırıcı/mnli

  • Yapılandırma açıklaması : Çok Türlü Doğal Dil Çıkarımı Külliyatı, metinsel ek açıklamaları olan kitle kaynaklı bir cümle çiftleri koleksiyonudur. Bir öncül cümle ve bir hipotez cümlesi verildiğinde, görev, öncülün hipotezi içerip içermediğini (entailment), hipotezle çelişip çelişmediğini (çelişki) veya hiçbirinin (nötr) olup olmadığını tahmin etmektir. Öncül cümleler, yazıya dökülmüş konuşma, kurgu ve hükümet raporları dahil olmak üzere on farklı kaynaktan toplanır. Yazarlardan özel etiketler aldığımız standart test setini kullanıyoruz ve hem eşleşen (alan içi) hem de eşleşmeyen (alanlar arası) bölümde değerlendiriyoruz. Ayrıca 550 bin yardımcı eğitim verisi örneği olarak SNLI derlemini kullanıyor ve öneriyoruz.

  • Ana Sayfa : http://www.nyu.edu/projects/bowman/multinli/

  • İndirme boyutu : 298.29 MiB

  • Veri kümesi boyutu : 100.56 MiB

  • bölmeler :

Bölmek örnekler
'test_matched' 9.796
'test_mismatched' 9.847
'train' 392.702
'validation_matched' 9.815
'validation_mismatched' 9.832
  • Özellik yapısı :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
hipotez Metin sicim
idx tensör int32
etiket SınıfEtiketi int64
Öncül Metin sicim
  • Alıntı :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

yapıştırıcı/mnli_mismatched

  • Yapılandırma açıklaması : Eşleşmeyen doğrulama ve test, MNLI'den ayrılır. Ek bilgi için "mnli" BuilderConfig'e bakın.

  • Ana Sayfa : http://www.nyu.edu/projects/bowman/multinli/

  • İndirme boyutu : 298.29 MiB

  • Veri kümesi boyutu : 4.79 MiB

  • bölmeler :

Bölmek örnekler
'test' 9.847
'validation' 9.832
  • Özellik yapısı :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
hipotez Metin sicim
idx tensör int32
etiket SınıfEtiketi int64
Öncül Metin sicim
  • Alıntı :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

yapıştırıcı/mnli_matched

  • Yapılandırma açıklaması : Eşleşen doğrulama ve test, MNLI'den ayrılır. Ek bilgi için "mnli" BuilderConfig'e bakın.

  • Ana Sayfa : http://www.nyu.edu/projects/bowman/multinli/

  • İndirme boyutu : 298.29 MiB

  • Veri kümesi boyutu : 4.58 MiB

  • bölmeler :

Bölmek örnekler
'test' 9.796
'validation' 9.815
  • Özellik yapısı :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
hipotez Metin sicim
idx tensör int32
etiket SınıfEtiketi int64
Öncül Metin sicim
  • Alıntı :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

yapıştırıcı/qnli

  • Yapılandırma açıklaması : Stanford Soru Yanıt Veri Kümesi, soru-paragraf çiftlerinden oluşan bir soru yanıtlama veri kümesidir; burada paragraftaki cümlelerden biri (Wikipedia'dan alınmıştır) karşılık gelen sorunun yanıtını (bir açıklama yapan kişi tarafından yazılmıştır) içerir. İlgili bağlamdaki her soru ve her cümle arasında bir çift oluşturarak ve soru ile bağlam cümlesi arasında sözcüksel örtüşmesi düşük olan çiftleri filtreleyerek görevi cümle çifti sınıflandırmasına dönüştürüyoruz. Görev, bağlam cümlesinin sorunun cevabını içerip içermediğini belirlemektir. Orijinal görevin bu değiştirilmiş versiyonu, modelin tam cevabı seçmesi gerekliliğini ortadan kaldırır, ancak aynı zamanda cevabın her zaman girdide mevcut olduğu ve sözcüksel örtüşmenin güvenilir bir ipucu olduğu şeklindeki basitleştirici varsayımları da ortadan kaldırır.

  • Ana sayfa : https://rajpurkar.github.io/SQuAD-explorer/

  • İndirme boyutu : 10.14 MiB

  • Veri kümesi boyutu : 32.99 MiB

  • bölmeler :

Bölmek örnekler
'test' 5.463
'train' 104.743
'validation' 5.463
  • Özellik yapısı :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'question': Text(shape=(), dtype=string),
    'sentence': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
idx tensör int32
etiket SınıfEtiketi int64
soru Metin sicim
cümle Metin sicim
  • Alıntı :
@article{rajpurkar2016squad,
  title={Squad: 100,000+ questions for machine comprehension of text},
  author={Rajpurkar, Pranav and Zhang, Jian and Lopyrev, Konstantin and Liang, Percy},
  journal={arXiv preprint arXiv:1606.05250},
  year={2016}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

tutkal/rte

  • Yapılandırma açıklaması : Metinsel Gereksinimi Tanıma (RTE) veri kümeleri, bir dizi yıllık metinsel gereksinim mücadelesinden gelir. RTE1 (Dagan ve diğerleri, 2006), RTE2 (Bar Haim ve diğerleri, 2006), RTE3 (Giampiccolo ve diğerleri, 2007) ve RTE5'ten (Bentivogli ve diğerleri, 2009)4 elde edilen verileri birleştiriyoruz. haberlere ve Wikipedia metnine dayalı olarak oluşturulmuştur. Tüm veri kümelerini iki sınıflı bir bölmeye dönüştürüyoruz, burada üç sınıflı veri kümeleri için tutarlılık için nötr ve çelişkiyi zorunlu olmayana daraltıyoruz.

  • Ana sayfa : https://aclweb.org/aclwiki/Recognizing_Textual_Entailment

  • İndirme boyutu : 680.81 KiB

  • Veri kümesi boyutu : 2.15 MiB

  • bölmeler :

Bölmek örnekler
'test' 3.000
'train' 2.490
'validation' 277
  • Özellik yapısı :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
idx tensör int32
etiket SınıfEtiketi int64
cümle1 Metin sicim
cümle2 Metin sicim
  • Alıntı :
@inproceedings{dagan2005pascal,
  title={The PASCAL recognising textual entailment challenge},
  author={Dagan, Ido and Glickman, Oren and Magnini, Bernardo},
  booktitle={Machine Learning Challenges Workshop},
  pages={177--190},
  year={2005},
  organization={Springer}
}
@inproceedings{bar2006second,
  title={The second pascal recognising textual entailment challenge},
  author={Bar-Haim, Roy and Dagan, Ido and Dolan, Bill and Ferro, Lisa and Giampiccolo, Danilo and Magnini, Bernardo and Szpektor, Idan},
  booktitle={Proceedings of the second PASCAL challenges workshop on recognising textual entailment},
  volume={6},
  number={1},
  pages={6--4},
  year={2006},
  organization={Venice}
}
@inproceedings{giampiccolo2007third,
  title={The third pascal recognizing textual entailment challenge},
  author={Giampiccolo, Danilo and Magnini, Bernardo and Dagan, Ido and Dolan, Bill},
  booktitle={Proceedings of the ACL-PASCAL workshop on textual entailment and paraphrasing},
  pages={1--9},
  year={2007},
  organization={Association for Computational Linguistics}
}
@inproceedings{bentivogli2009fifth,
  title={The Fifth PASCAL Recognizing Textual Entailment Challenge.},
  author={Bentivogli, Luisa and Clark, Peter and Dagan, Ido and Giampiccolo, Danilo},
  booktitle={TAC},
  year={2009}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

yapıştırıcı/wnli

  • Yapılandırma açıklaması : Winograd Schema Challenge (Levesque ve diğerleri, 2011), bir sistemin zamir içeren bir cümleyi okuması ve bir seçenekler listesinden o zamirin göndergesini seçmesi gereken bir okuduğunu anlama görevidir. Örnekler, basit istatistiksel yöntemleri bozmak için manuel olarak oluşturulmuştur: Her biri, cümledeki tek bir kelime veya tümcecik tarafından sağlanan bağlamsal bilgilere bağlıdır. Problemi cümle çifti sınıflandırmasına dönüştürmek için, muğlak zamirleri olası göndergelerle değiştirerek cümle çiftleri oluştururuz. Görev, zamirin değiştirildiği cümlenin orijinal cümleyi gerektirip gerektirmediğini tahmin etmektir. Orijinal külliyatın yazarları tarafından özel olarak paylaşılan kurgu kitaplarından türetilen yeni örneklerden oluşan küçük bir değerlendirme seti kullanıyoruz. Dahil edilen eğitim seti iki sınıf arasında dengelenirken, test seti aralarında dengesizdir (% 65 gereklilik değil). Ayrıca, bir veri tuhaflığı nedeniyle, geliştirme seti karşıttır: hipotezler bazen eğitim ve geliştirme örnekleri arasında paylaşılır, bu nedenle bir model eğitim örneklerini ezberlerse, karşılık gelen geliştirme seti örneğinde yanlış etiketi tahmin edecektir. QNLI'de olduğu gibi, her örnek ayrı ayrı değerlendirilir, dolayısıyla bir modelin bu görevdeki puanı ile dönüştürülmemiş orijinal görevdeki puanı arasında sistematik bir uygunluk yoktur. Dönüştürülen veri kümesine WNLI (Winograd NLI) diyoruz.

  • Ana Sayfa : https://cs.nyu.edu/faculty/davise/papers/WinogradSchemas/WS.html

  • İndirme boyutu : 28.32 KiB

  • Veri kümesi boyutu : 198.88 KiB

  • bölmeler :

Bölmek örnekler
'test' 146
'train' 635
'validation' 71
  • Özellik yapısı :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
idx tensör int32
etiket SınıfEtiketi int64
cümle1 Metin sicim
cümle2 Metin sicim
  • Alıntı :
@inproceedings{levesque2012winograd,
  title={The winograd schema challenge},
  author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
  booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
  year={2012}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

yapıştırıcı/balta

  • Yapılandırma açıklaması : Çok çeşitli dilbilimsel olgularda sistem performansının ayrıntılı analizi için manuel olarak derlenen bir değerlendirme veri kümesi. Bu veri kümesi, Doğal Dil Çıkarımı (NLI) problemleri aracılığıyla cümle anlayışını değerlendirir. Bu veri kümesi için tahminler üretmek üzere MulitNLI üzerinde eğitilmiş bir model kullanın.

  • Ana Sayfa : https://glubenchmark.com/diagnostics

  • İndirme boyutu : 217.05 KiB

  • Veri kümesi boyutu : 299.16 KiB

  • bölmeler :

Bölmek örnekler
'test' 1.104
  • Özellik yapısı :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
hipotez Metin sicim
idx tensör int32
etiket SınıfEtiketi int64
Öncül Metin sicim
  • Alıntı :
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.