날짜를 저장하십시오! Google I / O가 5 월 18 일부터 20 일까지 반환됩니다. 지금 등록
이 페이지는 Cloud Translation API를 통해 번역되었습니다.
Switch to English

접착제

  • 설명 :

일반 언어 이해 평가 벤치 마크인 GLUE ( https://gluebenchmark.com/ )는 자연어 이해 시스템을 교육, 평가 및 분석하기위한 리소스 모음입니다.

글루 / 콜라 (기본 구성)

  • 구성 설명 : 언어 수용성 말뭉치는 언어 이론에 관한 책과 저널 기사에서 가져온 영어 수용도 판단으로 구성됩니다. 각 예는 문법적 영어 문장인지 여부가 주석으로 추가 된 단어 시퀀스입니다.

  • 홈페이지 : https://nyu-mll.github.io/CoLA/

  • 다운로드 크기 : 368.14 KiB

  • 분할 :

스플릿
'test' 1,063
'train' 8,551
'validation' 1,043
  • 특징 :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • 인용 :
@article{warstadt2018neural,
  title={Neural Network Acceptability Judgments},
  author={Warstadt, Alex and Singh, Amanpreet and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1805.12471},
  year={2018}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

접착제 / sst2

  • 구성 설명 : Stanford Sentiment Treebank는 영화 리뷰의 문장과 감정에 대한 인간 주석으로 구성됩니다. 과제는 주어진 문장의 감정을 예측하는 것입니다. 양방향 (positive / negative) 클래스 분할을 사용하고 문장 수준 레이블 만 사용합니다.

  • 홈페이지 : https://nlp.stanford.edu/sentiment/index.html

  • 다운로드 크기 : 7.09 MiB

  • 분할 :

스플릿
'test' 1,821
'train' 67,349
'validation' 872
  • 특징 :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • 인용 :
@inproceedings{socher2013recursive,
  title={Recursive deep models for semantic compositionality over a sentiment treebank},
  author={Socher, Richard and Perelygin, Alex and Wu, Jean and Chuang, Jason and Manning, Christopher D and Ng, Andrew and Potts, Christopher},
  booktitle={Proceedings of the 2013 conference on empirical methods in natural language processing},
  pages={1631--1642},
  year={2013}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

접착제 / mrpc

  • 구성 설명 : Microsoft Research Paraphrase Corpus (Dolan & Brockett, 2005)는 온라인 뉴스 소스에서 자동으로 추출 된 문장 쌍의 모음이며 쌍의 문장이 의미 상 동일한 지 여부에 대한 사람 주석이 포함되어 있습니다.

  • 홈페이지 : https://www.microsoft.com/en-us/download/details.aspx?id=52398

  • 다운로드 크기 : 1.43 MiB

  • 분할 :

스플릿
'test' 1,725
'train' 3,668
'validation' 408
  • 특징 :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • 인용 :
@inproceedings{dolan2005automatically,
  title={Automatically constructing a corpus of sentential paraphrases},
  author={Dolan, William B and Brockett, Chris},
  booktitle={Proceedings of the Third International Workshop on Paraphrasing (IWP2005)},
  year={2005}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

접착제 / qqp

  • 구성 설명 : Quora Question Pairs2 데이터 세트는 커뮤니티 질문 응답 웹 사이트 Quora의 질문 쌍 모음입니다. 작업은 한 쌍의 질문이 의미 상 동일한 지 여부를 확인하는 것입니다.

  • 홈페이지 : https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs

  • 다운로드 크기 : 57.73 MiB

  • 분할 :

스플릿
'test' 390,965
'train' 363,849
'validation' 40,430
  • 특징 :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'question1': Text(shape=(), dtype=tf.string),
    'question2': Text(shape=(), dtype=tf.string),
})
  • 인용 :
@online{WinNT,
  author = {Iyer, Shankar and Dandekar, Nikhil and Csernai, Kornel},
  title = {First Quora Dataset Release: Question Pairs},
  year = 2017,
  url = {https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs},
  urldate = {2019-04-03}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

접착제 / stsb

  • 구성 설명 : 시맨틱 텍스트 유사성 벤치 마크 (Cer et al., 2017)는 뉴스 헤드 라인, 동영상 및 이미지 캡션, 자연어 추론 데이터에서 가져온 문장 쌍의 모음입니다. 각 쌍은 1부터 5까지의 유사성 점수로 사람이 주석을 달았습니다.

  • 홈페이지 : http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark

  • 다운로드 크기 : 784.05 KiB

  • 분할 :

스플릿
'test' 1,379
'train' 5,749
'validation' 1,500
  • 특징 :
FeaturesDict({
    'idx': tf.int32,
    'label': tf.float32,
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • 인용 :
@article{cer2017semeval,
  title={Semeval-2017 task 1: Semantic textual similarity-multilingual and cross-lingual focused evaluation},
  author={Cer, Daniel and Diab, Mona and Agirre, Eneko and Lopez-Gazpio, Inigo and Specia, Lucia},
  journal={arXiv preprint arXiv:1708.00055},
  year={2017}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

접착제 / mnli

  • 구성 설명 : Multi-Genre Natural Language Inference Corpus는 텍스트 관련 주석이 포함 된 크라우드 소싱 된 문장 쌍 모음입니다. 전제 문장과 가설 문장이 주어지면 전제가 가설을 수반하는지 (수반), 가설과 모순되는지 (모순) 또는 둘 다 (중립적) 여부를 예측하는 것입니다. 전제 문장은 필사 된 연설, 허구 및 정부 보고서를 포함하여 10 가지 소스에서 수집됩니다. 저자로부터 개인 레이블을 얻은 표준 테스트 세트를 사용하고 일치 (도메인 내) 및 불일치 (도메인 간) 섹션 모두에서 평가합니다. 또한 SNLI 코퍼스를 보조 훈련 데이터의 550k 예제로 사용하고 권장합니다.

  • 홈페이지 : http://www.nyu.edu/projects/bowman/multinli/

  • 다운로드 크기 : 298.29 MiB

  • 분할 :

스플릿
'test_matched' 9,796
'test_mismatched' 9,847
'train' 392,702
'validation_matched' 9,815
'validation_mismatched' 9,832
  • 특징 :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • 인용 :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

glue / mnli_mismatched

  • 구성 설명 : 일치하지 않는 유효성 검사 및 MNLI의 테스트 분할입니다. 추가 정보는 "mnli"BuilderConfig를 참조하십시오.

  • 홈페이지 : http://www.nyu.edu/projects/bowman/multinli/

  • 다운로드 크기 : 298.29 MiB

  • 분할 :

스플릿
'test' 9,847
'validation' 9,832
  • 특징 :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • 인용 :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

접착제 / mnli_matched

  • 구성 설명 : MNLI에서 일치하는 유효성 검사 및 테스트 분할. 추가 정보는 "mnli"BuilderConfig를 참조하십시오.

  • 홈페이지 : http://www.nyu.edu/projects/bowman/multinli/

  • 다운로드 크기 : 298.29 MiB

  • 분할 :

스플릿
'test' 9,796
'validation' 9,815
  • 특징 :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • 인용 :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

접착제 / qnli

  • 구성 설명 : Stanford Question Answering Dataset은 문단 쌍으로 구성된 질문 응답 데이터 세트로, 문단의 문장 (위키 백과에서 가져옴) 중 하나에 해당 질문 (어노 테이터가 작성)에 대한 답변이 포함되어 있습니다. 해당 컨텍스트에서 각 질문과 각 문장 사이에 쌍을 형성하고 질문과 컨텍스트 문장 사이에 어휘 중첩이 낮은 쌍을 필터링하여 작업을 문장 쌍 분류로 변환합니다. 과제는 문맥 문장에 질문에 대한 답이 포함되어 있는지 확인하는 것입니다. 원래 작업의이 수정 된 버전은 모델이 정확한 답을 선택해야한다는 요구 사항을 제거하지만 답이 항상 입력에 있고 어휘 중첩이 신뢰할 수있는 단서라는 단순한 가정을 제거합니다.

  • 홈페이지 : https://rajpurkar.github.io/SQuAD-explorer/

  • 다운로드 크기 : 10.14 MiB

  • 분할 :

스플릿
'test' 5,463
'train' 104,743
'validation' 5,463
  • 특징 :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'question': Text(shape=(), dtype=tf.string),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • 인용 :
@article{rajpurkar2016squad,
  title={Squad: 100,000+ questions for machine comprehension of text},
  author={Rajpurkar, Pranav and Zhang, Jian and Lopyrev, Konstantin and Liang, Percy},
  journal={arXiv preprint arXiv:1606.05250},
  year={2016}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

접착제 / rte

  • 구성 설명 : RTE (Recognizing Textual Entailment) 데이터 세트는 일련의 연간 텍스트 관련 과제에서 비롯됩니다. RTE1 (Dagan et al., 2006), RTE2 (Bar Haim et al., 2006), RTE3 (Giampiccolo et al., 2007) 및 RTE5 (Bentivogli et al., 2009)의 데이터를 결합합니다. 뉴스 및 Wikipedia 텍스트를 기반으로 구성되었습니다. 모든 데이터 세트를 2 클래스 분할로 변환합니다. 여기서 3 클래스 데이터 세트의 경우 일관성을 위해 중립과 모순을 수반하지 않음으로 축소합니다.

  • 홈페이지 : https://aclweb.org/aclwiki/Recognizing_Textual_Entailment

  • 다운로드 크기 : 680.81 KiB

  • 분할 :

스플릿
'test' 3,000
'train' 2,490
'validation' 277
  • 특징 :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • 인용 :
@inproceedings{dagan2005pascal,
  title={The PASCAL recognising textual entailment challenge},
  author={Dagan, Ido and Glickman, Oren and Magnini, Bernardo},
  booktitle={Machine Learning Challenges Workshop},
  pages={177--190},
  year={2005},
  organization={Springer}
}
@inproceedings{bar2006second,
  title={The second pascal recognising textual entailment challenge},
  author={Bar-Haim, Roy and Dagan, Ido and Dolan, Bill and Ferro, Lisa and Giampiccolo, Danilo and Magnini, Bernardo and Szpektor, Idan},
  booktitle={Proceedings of the second PASCAL challenges workshop on recognising textual entailment},
  volume={6},
  number={1},
  pages={6--4},
  year={2006},
  organization={Venice}
}
@inproceedings{giampiccolo2007third,
  title={The third pascal recognizing textual entailment challenge},
  author={Giampiccolo, Danilo and Magnini, Bernardo and Dagan, Ido and Dolan, Bill},
  booktitle={Proceedings of the ACL-PASCAL workshop on textual entailment and paraphrasing},
  pages={1--9},
  year={2007},
  organization={Association for Computational Linguistics}
}
@inproceedings{bentivogli2009fifth,
  title={The Fifth PASCAL Recognizing Textual Entailment Challenge.},
  author={Bentivogli, Luisa and Clark, Peter and Dagan, Ido and Giampiccolo, Danilo},
  booktitle={TAC},
  year={2009}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

접착제 / wnli

  • 구성 설명 : Winograd Schema Challenge (Levesque et al., 2011)는 시스템이 대명사가있는 문장을 읽고 선택 목록에서 해당 대명사의 대상을 선택해야하는 독해 작업입니다. 예제는 간단한 통계 방법을 포괄하기 위해 수동으로 구성됩니다. 각 예제는 문장에서 단일 단어 또는 구문으로 제공되는 문맥 정보에 따라 달라집니다. 문제를 문장 쌍 분류로 변환하기 위해 모호한 대명사를 가능한 각 대상으로 대체하여 문장 쌍을 구성합니다. 작업은 대명사가 대체 된 문장이 원래 문장에 수반되는지 예측하는 것입니다. 우리는 원래 말뭉치의 저자가 개인적으로 공유 한 소설 책에서 파생 된 새로운 예제로 구성된 작은 평가 세트를 사용합니다. 포함 된 교육 세트는 두 클래스간에 균형을 이루지 만 테스트 세트는 두 클래스간에 균형이 맞지 않습니다 (수반이 아닌 65 %). 또한 데이터 특성으로 인해 개발 세트는 적대적입니다. 학습 및 개발 예제간에 가설이 공유되는 경우가 있으므로 모델이 학습 예제를 암기하면 해당 개발 세트 예제에서 잘못된 레이블을 예측합니다. QNLI와 마찬가지로 각 예제는 개별적으로 평가되므로이 작업에 대한 모델의 점수와 변환되지 않은 원래 작업의 점수간에 체계적인 일치가 없습니다. 변환 된 데이터 세트 WNLI (Winograd NLI)라고합니다.

  • 홈페이지 : https://cs.nyu.edu/faculty/davise/papers/WinogradSchemas/WS.html

  • 다운로드 크기 : 28.32 KiB

  • 분할 :

스플릿
'test' 146
'train' 635
'validation' 71
  • 특징 :
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • 인용 :
@inproceedings{levesque2012winograd,
  title={The winograd schema challenge},
  author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
  booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
  year={2012}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

접착제 / 도끼

  • 구성 설명 : 광범위한 언어 현상에 대한 시스템 성능을 세밀하게 분석하기 위해 수동으로 선별 한 평가 데이터 세트입니다. 이 데이터 세트는 자연어 추론 (NLI) 문제를 통해 문장 이해를 평가합니다. MulitNLI에서 훈련 된 모델을 사용하여이 데이터 세트에 대한 예측을 생성합니다.

  • 홈페이지 : https://gluebenchmark.com/diagnostics

  • 다운로드 크기 : 217.05 KiB

  • 분할 :

스플릿
'test' 1,104
  • 특징 :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • 인용 :
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.