clin_oos

• Descrizione :

I sistemi di dialogo orientati alle attività devono sapere quando una query non rientra nell'intervallo di intenti supportati, ma gli attuali corpora di classificazione del testo definiscono solo set di etichette che coprono ogni esempio. Introduciamo un nuovo set di dati che include query fuori ambito (OOS), ovvero query che non rientrano in nessuno degli intenti supportati dal sistema. Ciò pone una nuova sfida perché i modelli non possono presumere che ogni query al momento dell'inferenza appartenga a una classe di intenti supportata dal sistema. Il nostro set di dati copre anche 150 classi di intenti su 10 domini, catturando l'ampiezza che un agente orientato alle attività di produzione deve gestire. Offre un modo per valutare in modo più rigoroso e realistico la classificazione del testo nei sistemi di dialogo basati su attività.

• Documentazione aggiuntiva : Esplora documenti con codice north_east

• Pagina iniziale : https://github.com/clinc/oos-eval/

• Codice sorgente : tfds.text.ClincOOS

• Versioni :

  • 0.1.0 (impostazione predefinita): nessuna nota di rilascio.

• Dimensione del download : 256.01 KiB

• Dimensione del set di dati : 3.40 MiB

• Auto-cache ( documentazione ): Sì

• Divisioni :

• Struttura delle caratteristiche :

FeaturesDict({
    'domain': int32,
    'domain_name': Text(shape=(), dtype=string),
    'intent': int32,
    'intent_name': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Chiavi supervisionate (vedi as_supervised doc ): ('text', 'intent')

• Figura ( tfds.show_examples ): non supportato.

• Esempi ( tfds.as_dataframe ):

• Citazione :

@inproceedings{larson-etal-2019-evaluation,
    title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
    author = "Larson, Stefan  and
      Mahendran, Anish  and
      Peper, Joseph J.  and
      Clarke, Christopher  and
      Lee, Andrew  and
      Hill, Parker  and
      Kummerfeld, Jonathan K.  and
      Leach, Kevin  and
      Laurenzano, Michael A.  and
      Tang, Lingjia  and
      Mars, Jason",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/D19-1131",
    doi = "10.18653/v1/D19-1131",
    pages = "1311--1316",
}