clinc_oos

  • opis :

Zorientowane na zadania systemy dialogowe muszą wiedzieć, kiedy zapytanie wykracza poza zakres obsługiwanych intencji, ale obecne korpusy klasyfikacji tekstu definiują tylko zestawy etykiet, które obejmują każdy przykład. Wprowadzamy nowy zestaw danych, który zawiera zapytania, które są poza zakresem (OOS), tj. zapytania, które nie mieszczą się w żadnej z obsługiwanych intencji systemu. Stanowi to nowe wyzwanie, ponieważ modele nie mogą zakładać, że każde zapytanie w czasie wnioskowania należy do obsługiwanej przez system klasy intencji. Nasz zestaw danych obejmuje również 150 klas intencji w 10 domenach, odzwierciedlając zakres, jaki musi obsłużyć produkcyjny agent zorientowany na zadania. Oferuje sposób bardziej rygorystycznego i realistycznego porównywania klasyfikacji tekstu w systemach dialogowych sterowanych zadaniami.

Rozdzielać Przykłady
'test' 4500
'test_oos' 1000
'train' 15 000
'train_oos' 100
'validation' 3000
'validation_oos' 100
  • Struktura funkcji :
FeaturesDict({
    'domain': int32,
    'domain_name': Text(shape=(), dtype=string),
    'intent': int32,
    'intent_name': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
domena Napinacz int32
Nazwa domeny Tekst strunowy
zamiar Napinacz int32
nazwa_intencji Tekst strunowy
tekst Tekst strunowy
  • Cytat :
@inproceedings{larson-etal-2019-evaluation,
    title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
    author = "Larson, Stefan  and
      Mahendran, Anish  and
      Peper, Joseph J.  and
      Clarke, Christopher  and
      Lee, Andrew  and
      Hill, Parker  and
      Kummerfeld, Jonathan K.  and
      Leach, Kevin  and
      Laurenzano, Michael A.  and
      Tang, Lingjia  and
      Mars, Jason",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/D19-1131",
    doi = "10.18653/v1/D19-1131",
    pages = "1311--1316",
}