clinc_oos

  • תיאור :

מערכות דיאלוג מוכוונות משימה צריכות לדעת מתי שאילתה נופלת מחוץ לטווח הכוונות הנתמכות שלהן, אך גופי סיווג טקסט הנוכחיים מגדירים רק ערכות תוויות המכסות כל דוגמה. אנו מציגים מערך נתונים חדש הכולל שאילתות שהן מחוץ לטווח (OOS), כלומר שאילתות שאינן נופלות באף אחת מהכוונות הנתמכות של המערכת. זה מציב אתגר חדש מכיוון שמודלים לא יכולים להניח שכל שאילתה בזמן הסקת מסקנות שייכת למחלקת כוונות הנתמכת על ידי מערכת. מערך הנתונים שלנו מכסה גם 150 מחלקות כוונות על פני 10 תחומים, לוכדים את הרוחב שסוכן מכוון משימות ייצור צריך לטפל בו. הוא מציע דרך לקפדנות ומציאותית יותר לסיווג טקסט במערכות דיאלוג מונעות משימות.

  • דף הבית : https://github.com/clinc/oos-eval/

  • קוד מקור : tfds.text.ClincOOS

  • גרסאות :

    • 0.1.0 (ברירת מחדל): אין הערות שחרור.
  • גודל הורדה : 256.01 KiB

  • גודל ערכת נתונים : 3.40 MiB

  • שמור אוטומטי במטמון ( תיעוד ): כן

  • פיצולים :

לְפַצֵל דוגמאות
'test' 4,500
'test_oos' 1,000
'train' 15,000
'train_oos' 100
'validation' 3,000
'validation_oos' 100
  • מבנה תכונה :
FeaturesDict({
    'domain': tf.int32,
    'domain_name': Text(shape=(), dtype=tf.string),
    'intent': tf.int32,
    'intent_name': Text(shape=(), dtype=tf.string),
    'text': Text(shape=(), dtype=tf.string),
})
  • תיעוד תכונה :
תכונה מעמד צוּרָה Dtype תיאור
FeaturesDict
תְחוּם מוֹתֵחַ tf.int32
שם דומיין טֶקסט tf.string
כוונה מוֹתֵחַ tf.int32
שם_כוונת טֶקסט tf.string
טֶקסט טֶקסט tf.string
  • ציטוט :
@inproceedings{larson-etal-2019-evaluation,
    title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
    author = "Larson, Stefan  and
      Mahendran, Anish  and
      Peper, Joseph J.  and
      Clarke, Christopher  and
      Lee, Andrew  and
      Hill, Parker  and
      Kummerfeld, Jonathan K.  and
      Leach, Kevin  and
      Laurenzano, Michael A.  and
      Tang, Lingjia  and
      Mars, Jason",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/D19-1131",
    doi = "10.18653/v1/D19-1131",
    pages = "1311--1316",
}