clinc_oos

  • Açıklama :

Görev odaklı iletişim sistemleri, bir sorgu desteklenen amaç aralığının dışına çıktığında bunu bilmelidir, ancak mevcut metin sınıflandırma derlemi yalnızca her örneği kapsayan etiket kümelerini tanımlar. Kapsam dışı (OOS) sorguları, yani sistemin desteklenen amaçlarından hiçbirine girmeyen sorguları içeren yeni bir veri kümesi sunuyoruz. Modeller, çıkarım zamanındaki her sorgunun sistem tarafından desteklenen bir amaç sınıfına ait olduğunu varsayamadığından, bu yeni bir zorluk teşkil eder. Veri kümemiz ayrıca, üretim görev odaklı bir aracının işlemesi gereken genişliği yakalayan, 10 alan üzerinde 150 amaç sınıfını da kapsar. Görev odaklı diyalog sistemlerinde metin sınıflandırmasını daha titiz ve gerçekçi bir şekilde karşılaştırmanın bir yolunu sunar.

Bölmek Örnekler
'test' 4.500
'test_oos' 1.000
'train' 15.000
'train_oos' 100
'validation' 3.000
'validation_oos' 100
  • Özellik yapısı :
FeaturesDict({
    'domain': tf.int32,
    'domain_name': Text(shape=(), dtype=tf.string),
    'intent': tf.int32,
    'intent_name': Text(shape=(), dtype=tf.string),
    'text': Text(shape=(), dtype=tf.string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtype Tanım
ÖzelliklerDict
ihtisas tensör tf.int32
alan adı Metin tf.string
niyet tensör tf.int32
niyet_adı Metin tf.string
Metin Metin tf.string
  • alıntı :
@inproceedings{larson-etal-2019-evaluation,
    title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
    author = "Larson, Stefan  and
      Mahendran, Anish  and
      Peper, Joseph J.  and
      Clarke, Christopher  and
      Lee, Andrew  and
      Hill, Parker  and
      Kummerfeld, Jonathan K.  and
      Leach, Kevin  and
      Laurenzano, Michael A.  and
      Tang, Lingjia  and
      Mars, Jason",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/D19-1131",
    doi = "10.18653/v1/D19-1131",
    pages = "1311--1316",
}