keo dán

  • Mô tả :

GLUE, điểm chuẩn Đánh giá mức độ hiểu ngôn ngữ chung ( https://gluebenchmark.com/ ) là tập hợp các tài nguyên để đào tạo, đánh giá và phân tích các hệ thống hiểu ngôn ngữ tự nhiên.

keo/cola (cấu hình mặc định)

  • Mô tả cấu hình : Corpus of Linguistic Acceptance bao gồm các đánh giá về khả năng chấp nhận tiếng Anh được rút ra từ sách và bài báo về lý thuyết ngôn ngữ. Mỗi ví dụ là một dãy từ được chú thích với việc đó có phải là một câu tiếng Anh đúng ngữ pháp hay không.

  • Trang chủ : https://nyu-mll.github.io/CoLA/

  • Kích thước tải xuống : 368.14 KiB

  • Kích thước tập dữ liệu : 965.49 KiB

  • Chia tách :

Tách ra ví dụ
'test' 1.063
'train' 8,551
'validation' 1.043
  • Cấu trúc tính năng :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence': Text(shape=(), dtype=string),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
idx tenxơ int32
nhãn mác LớpNhãn int64
kết án Chữ sợi dây
  • trích dẫn :
@article{warstadt2018neural,
  title={Neural Network Acceptability Judgments},
  author={Warstadt, Alex and Singh, Amanpreet and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1805.12471},
  year={2018}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

keo/sst2

  • Mô tả cấu hình : Stanford Sentiment Treebank bao gồm các câu từ các bài đánh giá phim và chú thích của con người về cảm xúc của họ. Nhiệm vụ là dự đoán tình cảm của một câu nhất định. Chúng tôi sử dụng phân chia lớp theo hai chiều (tích cực/tiêu cực) và chỉ sử dụng các nhãn cấp độ câu.

  • Trang chủ : https://nlp.stanford.edu/sentiment/index.html

  • Kích thước tải xuống : 7.09 MiB

  • Kích thước tập dữ liệu : 7.22 MiB

  • Chia tách :

Tách ra ví dụ
'test' 1.821
'train' 67.349
'validation' 872
  • Cấu trúc tính năng :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence': Text(shape=(), dtype=string),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
idx tenxơ int32
nhãn mác LớpNhãn int64
kết án Chữ sợi dây
  • trích dẫn :
@inproceedings{socher2013recursive,
  title={Recursive deep models for semantic compositionality over a sentiment treebank},
  author={Socher, Richard and Perelygin, Alex and Wu, Jean and Chuang, Jason and Manning, Christopher D and Ng, Andrew and Potts, Christopher},
  booktitle={Proceedings of the 2013 conference on empirical methods in natural language processing},
  pages={1631--1642},
  year={2013}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

keo/mrpc

  • Mô tả cấu hình : Microsoft Research Paraphrase Corpus (Dolan & Brockett, 2005) là một tập hợp các cặp câu được trích xuất tự động từ các nguồn tin tức trực tuyến, với chú thích của con người về việc liệu các câu trong cặp có tương đương về mặt ngữ nghĩa hay không.

  • Trang chủ : https://www.microsoft.com/en-us/download/details.aspx?id=52398

  • Kích thước tải xuống : 1.43 MiB

  • Kích thước tập dữ liệu : 1.74 MiB

  • Chia tách :

Tách ra ví dụ
'test' 1.725
'train' 3,668
'validation' 408
  • Cấu trúc tính năng :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
idx tenxơ int32
nhãn mác LớpNhãn int64
câu1 Chữ sợi dây
câu2 Chữ sợi dây
  • trích dẫn :
@inproceedings{dolan2005automatically,
  title={Automatically constructing a corpus of sentential paraphrases},
  author={Dolan, William B and Brockett, Chris},
  booktitle={Proceedings of the Third International Workshop on Paraphrasing (IWP2005)},
  year={2005}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

keo/qqp

  • Mô tả cấu hình : Bộ dữ liệu Quora Question Pairs2 là tập hợp các cặp câu hỏi từ trang web trả lời câu hỏi cộng đồng Quora. Nhiệm vụ là xác định xem một cặp câu hỏi có tương đương về mặt ngữ nghĩa hay không.

  • Trang chủ : https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs

  • Kích thước tải xuống : 39.76 MiB

  • Kích thước tập dữ liệu : 150.37 MiB

  • Chia tách :

Tách ra ví dụ
'test' 390.965
'train' 363,846
'validation' 40,430
  • Cấu trúc tính năng :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'question1': Text(shape=(), dtype=string),
    'question2': Text(shape=(), dtype=string),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
idx tenxơ int32
nhãn mác LớpNhãn int64
câu hỏi 1 Chữ sợi dây
Câu hỏi 2 Chữ sợi dây
  • trích dẫn :
@online{WinNT,
  author = {Iyer, Shankar and Dandekar, Nikhil and Csernai, Kornel},
  title = {First Quora Dataset Release: Question Pairs},
  year = 2017,
  url = {https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs},
  urldate = {2019-04-03}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

keo/stsb

  • Mô tả cấu hình : Điểm chuẩn độ tương tự văn bản ngữ nghĩa (Cer et al., 2017) là tập hợp các cặp câu được rút ra từ tiêu đề tin tức, chú thích video và hình ảnh cũng như dữ liệu suy luận ngôn ngữ tự nhiên. Mỗi cặp được chú thích bởi con người với điểm tương đồng từ 0 đến 5.

  • Trang chủ : http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark

  • Kích thước tải xuống : 784.05 KiB

  • Kích thước tập dữ liệu : 1.58 MiB

  • Chia tách :

Tách ra ví dụ
'test' 1.379
'train' 5,749
'validation' 1.500
  • Cấu trúc tính năng :
FeaturesDict({
    'idx': int32,
    'label': float32,
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
idx tenxơ int32
nhãn mác tenxơ phao32
câu1 Chữ sợi dây
câu2 Chữ sợi dây
  • trích dẫn :
@article{cer2017semeval,
  title={Semeval-2017 task 1: Semantic textual similarity-multilingual and cross-lingual focused evaluation},
  author={Cer, Daniel and Diab, Mona and Agirre, Eneko and Lopez-Gazpio, Inigo and Specia, Lucia},
  journal={arXiv preprint arXiv:1708.00055},
  year={2017}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

keo/mnli

  • Mô tả cấu hình : Tập dữ liệu suy luận ngôn ngữ tự nhiên đa thể loại là một tập hợp các cặp câu có nguồn lực từ cộng đồng với các chú thích kéo theo văn bản. Đưa ra một câu tiền đề và một câu giả thuyết, nhiệm vụ là dự đoán xem tiền đề có kéo theo giả thuyết (đòi hỏi), mâu thuẫn với giả thuyết (mâu thuẫn) hay không (trung lập). Các câu tiền đề được thu thập từ mười nguồn khác nhau, bao gồm bài phát biểu được phiên âm, tiểu thuyết và báo cáo của chính phủ. Chúng tôi sử dụng bộ kiểm tra tiêu chuẩn mà chúng tôi đã nhận được nhãn riêng từ các tác giả và đánh giá trên cả phần phù hợp (trong miền) và không khớp (tên miền chéo). Chúng tôi cũng sử dụng và đề xuất kho dữ liệu SNLI dưới dạng 550.000 ví dụ về dữ liệu đào tạo phụ trợ.

  • Trang chủ : http://www.nyu.edu/projects/bowman/multinli/

  • Kích thước tải xuống : 298.29 MiB

  • Kích thước tập dữ liệu : 100.56 MiB

  • Chia tách :

Tách ra ví dụ
'test_matched' 9,796
'test_mismatched' 9,847
'train' 392,702
'validation_matched' 9,815
'validation_mismatched' 9,832
  • Cấu trúc tính năng :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
giả thuyết Chữ sợi dây
idx tenxơ int32
nhãn mác LớpNhãn int64
tiền đề Chữ sợi dây
  • trích dẫn :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

keo/mnli_mismatched

  • Mô tả cấu hình : Quá trình xác thực và thử nghiệm không khớp tách biệt khỏi MNLI. Xem BuilderConfig "mnli" để biết thêm thông tin.

  • Trang chủ : http://www.nyu.edu/projects/bowman/multinli/

  • Kích thước tải xuống : 298.29 MiB

  • Kích thước tập dữ liệu : 4.79 MiB

  • Chia tách :

Tách ra ví dụ
'test' 9,847
'validation' 9,832
  • Cấu trúc tính năng :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
giả thuyết Chữ sợi dây
idx tenxơ int32
nhãn mác LớpNhãn int64
tiền đề Chữ sợi dây
  • trích dẫn :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

keo/mnli_matched

  • Mô tả cấu hình : Kiểm tra và xác thực phù hợp tách khỏi MNLI. Xem BuilderConfig "mnli" để biết thêm thông tin.

  • Trang chủ : http://www.nyu.edu/projects/bowman/multinli/

  • Kích thước tải xuống : 298.29 MiB

  • Kích thước tập dữ liệu : 4.58 MiB

  • Chia tách :

Tách ra ví dụ
'test' 9,796
'validation' 9,815
  • Cấu trúc tính năng :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
giả thuyết Chữ sợi dây
idx tenxơ int32
nhãn mác LớpNhãn int64
tiền đề Chữ sợi dây
  • trích dẫn :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

keo/qnli

  • Mô tả cấu hình : Bộ dữ liệu trả lời câu hỏi của Stanford là một bộ dữ liệu trả lời câu hỏi bao gồm các cặp câu hỏi-đoạn văn, trong đó một trong các câu trong đoạn văn (được lấy từ Wikipedia) chứa câu trả lời cho câu hỏi tương ứng (được viết bởi một người chú thích). Chúng tôi chuyển đổi nhiệm vụ thành phân loại cặp câu bằng cách tạo một cặp giữa mỗi câu hỏi và mỗi câu trong ngữ cảnh tương ứng, đồng thời lọc ra các cặp có mức độ trùng lặp từ vựng thấp giữa câu hỏi và câu ngữ cảnh. Nhiệm vụ là xác định xem câu ngữ cảnh có chứa câu trả lời cho câu hỏi hay không. Phiên bản sửa đổi này của nhiệm vụ ban đầu loại bỏ yêu cầu mô hình chọn câu trả lời chính xác, nhưng cũng loại bỏ các giả định đơn giản hóa rằng câu trả lời luôn có trong đầu vào và sự chồng chéo từ vựng là một gợi ý đáng tin cậy.

  • Trang chủ : https://rajpurkar.github.io/SQuAD-explorer/

  • Kích thước tải xuống : 10.14 MiB

  • Kích thước tập dữ liệu : 32.99 MiB

  • Chia tách :

Tách ra ví dụ
'test' 5,463
'train' 104,743
'validation' 5,463
  • Cấu trúc tính năng :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'question': Text(shape=(), dtype=string),
    'sentence': Text(shape=(), dtype=string),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
idx tenxơ int32
nhãn mác LớpNhãn int64
câu hỏi Chữ sợi dây
kết án Chữ sợi dây
  • trích dẫn :
@article{rajpurkar2016squad,
  title={Squad: 100,000+ questions for machine comprehension of text},
  author={Rajpurkar, Pranav and Zhang, Jian and Lopyrev, Konstantin and Liang, Percy},
  journal={arXiv preprint arXiv:1606.05250},
  year={2016}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

keo/rte

  • Mô tả cấu hình : Bộ dữ liệu Nhận biết yêu cầu theo văn bản (RTE) đến từ một loạt các thách thức về yêu cầu theo văn bản hàng năm. Chúng tôi kết hợp dữ liệu từ RTE1 (Dagan và cộng sự, 2006), RTE2 (Bar Haim và cộng sự, 2006), RTE3 (Giampiccolo và cộng sự, 2007) và RTE5 (Bentivogli và cộng sự, 2009).4 Ví dụ là được xây dựng dựa trên tin tức và văn bản Wikipedia. Chúng tôi chuyển đổi tất cả các tập dữ liệu thành phân chia hai lớp, trong đó đối với các tập dữ liệu ba lớp, chúng tôi thu gọn trung tính và mâu thuẫn thành không kéo theo, để đảm bảo tính nhất quán.

  • Trang chủ : https://aclweb.org/aclwiki/Recognizing_Textual_Entailment

  • Kích thước tải xuống : 680.81 KiB

  • Kích thước tập dữ liệu : 2.15 MiB

  • Chia tách :

Tách ra ví dụ
'test' 3.000
'train' 2.490
'validation' 277
  • Cấu trúc tính năng :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
idx tenxơ int32
nhãn mác LớpNhãn int64
câu1 Chữ sợi dây
câu2 Chữ sợi dây
  • trích dẫn :
@inproceedings{dagan2005pascal,
  title={The PASCAL recognising textual entailment challenge},
  author={Dagan, Ido and Glickman, Oren and Magnini, Bernardo},
  booktitle={Machine Learning Challenges Workshop},
  pages={177--190},
  year={2005},
  organization={Springer}
}
@inproceedings{bar2006second,
  title={The second pascal recognising textual entailment challenge},
  author={Bar-Haim, Roy and Dagan, Ido and Dolan, Bill and Ferro, Lisa and Giampiccolo, Danilo and Magnini, Bernardo and Szpektor, Idan},
  booktitle={Proceedings of the second PASCAL challenges workshop on recognising textual entailment},
  volume={6},
  number={1},
  pages={6--4},
  year={2006},
  organization={Venice}
}
@inproceedings{giampiccolo2007third,
  title={The third pascal recognizing textual entailment challenge},
  author={Giampiccolo, Danilo and Magnini, Bernardo and Dagan, Ido and Dolan, Bill},
  booktitle={Proceedings of the ACL-PASCAL workshop on textual entailment and paraphrasing},
  pages={1--9},
  year={2007},
  organization={Association for Computational Linguistics}
}
@inproceedings{bentivogli2009fifth,
  title={The Fifth PASCAL Recognizing Textual Entailment Challenge.},
  author={Bentivogli, Luisa and Clark, Peter and Dagan, Ido and Giampiccolo, Danilo},
  booktitle={TAC},
  year={2009}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

keo/wnli

  • Mô tả cấu hình : Thử thách lược đồ Winograd (Levesque et al., 2011) là một nhiệm vụ đọc hiểu trong đó hệ thống phải đọc một câu có đại từ và chọn tham chiếu của đại từ đó từ danh sách các lựa chọn. Các ví dụ được xây dựng thủ công để tạo ra các phương pháp thống kê đơn giản: Mỗi ví dụ phụ thuộc vào thông tin theo ngữ cảnh được cung cấp bởi một từ hoặc cụm từ đơn lẻ trong câu. Để chuyển vấn đề thành phân loại cặp câu, chúng tôi xây dựng các cặp câu bằng cách thay thế đại từ mơ hồ với mỗi tham chiếu có thể. Nhiệm vụ là dự đoán xem câu có đại từ thay thế có phải là câu gốc hay không. Chúng tôi sử dụng một bộ đánh giá nhỏ bao gồm các ví dụ mới bắt nguồn từ sách viễn tưởng được chia sẻ riêng bởi các tác giả của kho ngữ liệu gốc. Mặc dù tập huấn luyện đi kèm được cân bằng giữa hai lớp, nhưng tập kiểm tra lại không cân bằng giữa chúng (65% không phải là tập bắt buộc). Ngoài ra, do một vấn đề về dữ liệu, tập phát triển là đối nghịch: các giả thuyết đôi khi được chia sẻ giữa các ví dụ đào tạo và phát triển, vì vậy nếu một mô hình ghi nhớ các ví dụ đào tạo, chúng sẽ dự đoán nhãn sai trên ví dụ tập phát triển tương ứng. Như với QNLI, mỗi ví dụ được đánh giá riêng biệt, do đó không có sự tương ứng có hệ thống giữa điểm số của mô hình đối với nhiệm vụ này và điểm số của nó đối với nhiệm vụ ban đầu chưa được chuyển đổi. Chúng tôi gọi tập dữ liệu đã chuyển đổi là WNLI (Winograd NLI).

  • Trang chủ : https://cs.nyu.edu/faculty/davise/papers/WinogradSchemas/WS.html

  • Kích thước tải xuống : 28.32 KiB

  • Kích thước tập dữ liệu : 198.88 KiB

  • Chia tách :

Tách ra ví dụ
'test' 146
'train' 635
'validation' 71
  • Cấu trúc tính năng :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
idx tenxơ int32
nhãn mác LớpNhãn int64
câu1 Chữ sợi dây
câu2 Chữ sợi dây
  • trích dẫn :
@inproceedings{levesque2012winograd,
  title={The winograd schema challenge},
  author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
  booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
  year={2012}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

keo/rìu

  • Mô tả cấu hình : Tập dữ liệu đánh giá được quản lý thủ công để phân tích chi tiết về hiệu suất hệ thống trên một loạt các hiện tượng ngôn ngữ. Bộ dữ liệu này đánh giá khả năng hiểu câu thông qua các bài toán Suy luận ngôn ngữ tự nhiên (NLI). Sử dụng một mô hình được đào tạo trên MulitNLI để đưa ra các dự đoán cho tập dữ liệu này.

  • Trang chủ : https://gluebenchmark.com/diagnostics

  • Kích thước tải xuống : 217.05 KiB

  • Kích thước tập dữ liệu : 299.16 KiB

  • Chia tách :

Tách ra ví dụ
'test' 1.104
  • Cấu trúc tính năng :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
giả thuyết Chữ sợi dây
idx tenxơ int32
nhãn mác LớpNhãn int64
tiền đề Chữ sợi dây
  • trích dẫn :
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.