Pomoc chronić Wielkiej Rafy Koralowej z TensorFlow na Kaggle Dołącz Wyzwanie

clinc_oos

  • opis:

Systemy dialogowe zorientowane zadaniowo muszą wiedzieć, kiedy zapytanie wykracza poza zakres obsługiwanych intencji, ale obecne korpusy klasyfikacji tekstu definiują tylko zestawy etykiet, które obejmują każdy przykład. Wprowadzamy nowy zestaw danych, który zawiera zapytania, które są poza zakresem (OOS), tj. zapytania, które nie mieszczą się w żadnej z obsługiwanych przez system intencji. Stanowi to nowe wyzwanie, ponieważ modele nie mogą zakładać, że każde zapytanie w czasie wnioskowania należy do klasy intencji obsługiwanej przez system. Nasz zestaw danych obejmuje również 150 klas intencji w 10 domenach, przechwytując zakres, z jakim musi sobie poradzić agent zorientowany na zadania produkcyjne. Oferuje sposób na bardziej rygorystyczne i realistyczne porównanie klasyfikacji tekstu w systemach dialogowych opartych na zadaniach.

Podział Przykłady
'test' 4500
'test_oos' 1000
'train' 15 000
'train_oos' 100
'validation' 3000
'validation_oos' 100
  • Cechy:
FeaturesDict({
    'domain': tf.int32,
    'domain_name': Text(shape=(), dtype=tf.string),
    'intent': tf.int32,
    'intent_name': Text(shape=(), dtype=tf.string),
    'text': Text(shape=(), dtype=tf.string),
})
  • cytat:
@inproceedings{larson-etal-2019-evaluation,
    title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
    author = "Larson, Stefan  and
      Mahendran, Anish  and
      Peper, Joseph J.  and
      Clarke, Christopher  and
      Lee, Andrew  and
      Hill, Parker  and
      Kummerfeld, Jonathan K.  and
      Leach, Kevin  and
      Laurenzano, Michael A.  and
      Tang, Lingjia  and
      Mars, Jason",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/D19-1131",
    doi = "10.18653/v1/D19-1131",
    pages = "1311--1316",
}