- توضیحات :
سیستم های گفتگوی وظیفه محور باید بدانند که چه زمانی س quالی خارج از محدوده اهداف پشتیبانی شده آنها قرار دارد ، اما شرکت های طبقه بندی متن فعلی فقط مجموعه برچسب هایی را تعریف می کنند که همه مثال ها را پوشش می دهد. ما یک مجموعه داده جدید معرفی می کنیم که شامل نمایش داده هایی خارج از محدوده (OOS) است ، یعنی پرس و جوهایی که در هیچ یک از اهداف پشتیبانی شده سیستم قرار نمی گیرند. این یک چالش جدید است زیرا مدل ها نمی توانند تصور کنند که هر پرس و جو در زمان استنباط متعلق به یک کلاس هدف پشتیبانی شده از سیستم است. مجموعه داده های ما همچنین 150 کلاس قصد را در 10 دامنه تحت پوشش قرار می دهد ، وسعتی را که یک عامل وظیفه گرا باید از پس آن برآید ، به دست می آورد. این یک روش برای محک زدن دقیق و واقع بینانه تر طبقه بندی متن در سیستم های گفتگوی وظیفه محور را ارائه می دهد.
صفحه اصلی : https://github.com/clinc/oos-eval/
کد منبع :
tfds.text.ClincOOS
نسخه ها :
-
0.1.0
(پیش فرض): بدون یادداشت انتشار.
-
اندازه
256.01 KiB
:256.01 KiB
اندازه مجموعه داده :
3.40 MiB
ذخیره خودکار ( مستندات ): بله
تقسیم :
شکاف | مثال ها |
---|---|
'test' | 4500 |
'test_oos' | 1000 |
'train' | 15000 |
'train_oos' | 100 |
'validation' | 3000 |
'validation_oos' | 100 |
- ویژگی ها :
FeaturesDict({
'domain': tf.int32,
'domain_name': Text(shape=(), dtype=tf.string),
'intent': tf.int32,
'intent_name': Text(shape=(), dtype=tf.string),
'text': Text(shape=(), dtype=tf.string),
})
کلیدهای تحت نظارت (به
as_supervised
سند نظارت شده مراجعه کنید):('text', 'intent')
نقل قول :
@inproceedings{larson-etal-2019-evaluation,
title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
author = "Larson, Stefan and
Mahendran, Anish and
Peper, Joseph J. and
Clarke, Christopher and
Lee, Andrew and
Hill, Parker and
Kummerfeld, Jonathan K. and
Leach, Kevin and
Laurenzano, Michael A. and
Tang, Lingjia and
Mars, Jason",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://www.aclweb.org/anthology/D19-1131",
doi = "10.18653/v1/D19-1131",
pages = "1311--1316",
}
شکل ( tfds.show_examples ): پشتیبانی نمی شود.
مثالها ( tfds.as_dataframe ):