clinc_oos

• বর্ণনা :

টাস্ক-ওরিয়েন্টেড ডায়ালগ সিস্টেমগুলিকে জানতে হবে যখন একটি প্রশ্ন তাদের সমর্থিত অভিপ্রায়ের সীমার বাইরে পড়ে, তবে বর্তমান পাঠ্য শ্রেণিবিন্যাস কর্পোরা শুধুমাত্র লেবেল সেটগুলিকে সংজ্ঞায়িত করে যা প্রতিটি উদাহরণকে কভার করে। আমরা একটি নতুন ডেটাসেট প্রবর্তন করি যার মধ্যে এমন কোয়েরি রয়েছে যা সুযোগের বাইরে (OOS), অর্থাৎ, সিস্টেমের সমর্থিত অভিপ্রায়গুলির মধ্যে পড়ে না। এটি একটি নতুন চ্যালেঞ্জ তৈরি করেছে কারণ মডেলগুলি অনুমান করতে পারে না যে অনুমান সময়ে প্রতিটি প্রশ্ন একটি সিস্টেম-সমর্থিত অভিপ্রায় শ্রেণীর অন্তর্গত। আমাদের ডেটাসেটটি 10টি ডোমেনের উপর 150টি অভিপ্রায় শ্রেণীকেও কভার করে, যা একটি প্রোডাকশন টাস্ক-ওরিয়েন্টেড এজেন্টকে অবশ্যই পরিচালনা করতে হবে। এটি টাস্ক-চালিত ডায়ালগ সিস্টেমে আরও কঠোরভাবে এবং বাস্তবসম্মতভাবে পাঠ্য শ্রেণিবিন্যাস করার একটি উপায় অফার করে।

• অতিরিক্ত ডকুমেন্টেশন : north_east কোড সহ কাগজপত্রে অন্বেষণ করুন

• হোমপেজ : https://github.com/clinc/oos-eval/

• সোর্স কোড : tfds.text.ClincOOS

• সংস্করণ :

  • 0.1.0 (ডিফল্ট): কোনো রিলিজ নোট নেই।

• ডাউনলোড সাইজ : 256.01 KiB

• ডেটাসেটের আকার : 3.40 MiB

• স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): হ্যাঁ

• বিভাজন :

• বৈশিষ্ট্য গঠন :

FeaturesDict({
    'domain': int32,
    'domain_name': Text(shape=(), dtype=string),
    'intent': int32,
    'intent_name': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
})

• বৈশিষ্ট্য ডকুমেন্টেশন :

• তত্ত্বাবধানে থাকা কী (দেখুন as_supervised doc ): ('text', 'intent')

• চিত্র ( tfds.show_examples ): সমর্থিত নয়।

• উদাহরণ ( tfds.as_dataframe ):

• উদ্ধৃতি :

@inproceedings{larson-etal-2019-evaluation,
    title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
    author = "Larson, Stefan  and
      Mahendran, Anish  and
      Peper, Joseph J.  and
      Clarke, Christopher  and
      Lee, Andrew  and
      Hill, Parker  and
      Kummerfeld, Jonathan K.  and
      Leach, Kevin  and
      Laurenzano, Michael A.  and
      Tang, Lingjia  and
      Mars, Jason",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/D19-1131",
    doi = "10.18653/v1/D19-1131",
    pages = "1311--1316",
}