clinc_oos

با مجموعه‌ها، منظم بمانید ذخیره و دسته‌بندی محتوا براساس اولویت‌های شما.

  • توضیحات :

سیستم‌های محاوره‌ای وظیفه‌گرا باید بدانند چه زمانی یک پرس‌وجو خارج از محدوده اهداف پشتیبانی‌شده آن‌ها قرار می‌گیرد، اما مجموعه‌های طبقه‌بندی متن فعلی فقط مجموعه‌های برچسبی را تعریف می‌کنند که هر نمونه را پوشش می‌دهد. ما مجموعه داده جدیدی را معرفی می کنیم که شامل جستارهایی است که خارج از محدوده (OOS) هستند، به عنوان مثال، جستارهایی که در هیچ یک از اهداف پشتیبانی شده سیستم قرار نمی گیرند. این یک چالش جدید ایجاد می کند زیرا مدل ها نمی توانند فرض کنند که هر پرس و جو در زمان استنتاج به یک کلاس هدف پشتیبانی شده توسط سیستم تعلق دارد. مجموعه داده ما همچنین 150 کلاس هدف در 10 دامنه را پوشش می‌دهد و وسعتی را که یک عامل وظیفه‌محور تولید باید مدیریت کند را در بر می‌گیرد. این روشی برای محک زدن دقیق‌تر و واقعی‌تر طبقه‌بندی متن در سیستم‌های گفتگوی وظیفه محور ارائه می‌دهد.

شکاف مثال ها
'test' 4500
'test_oos' 1000
'train' 15000
'train_oos' 100
'validation' 3000
'validation_oos' 100
  • ساختار ویژگی :
FeaturesDict({
    'domain': int32,
    'domain_name': Text(shape=(), dtype=string),
    'intent': int32,
    'intent_name': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
دامنه تانسور int32
نام دامنه متن رشته
قصد تانسور int32
intent_name متن رشته
متن متن رشته
  • نقل قول :
@inproceedings{larson-etal-2019-evaluation,
    title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
    author = "Larson, Stefan  and
      Mahendran, Anish  and
      Peper, Joseph J.  and
      Clarke, Christopher  and
      Lee, Andrew  and
      Hill, Parker  and
      Kummerfeld, Jonathan K.  and
      Leach, Kevin  and
      Laurenzano, Michael A.  and
      Tang, Lingjia  and
      Mars, Jason",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/D19-1131",
    doi = "10.18653/v1/D19-1131",
    pages = "1311--1316",
}