Google I/O — это обертка! Наверстать упущенное в сеансах TensorFlow Просмотреть сеансы

clinc_oos

  • Описание :

Диалоговые системы, ориентированные на задачи, должны знать, когда запрос выходит за пределы их диапазона поддерживаемых намерений, но современные корпуса классификации текста определяют только наборы меток, которые охватывают каждый пример. Мы представляем новый набор данных, который включает запросы, выходящие за рамки (OOS), т. е. запросы, которые не попадают ни в одно из поддерживаемых системой намерений. Это создает новую проблему, поскольку модели не могут предполагать, что каждый запрос во время вывода принадлежит поддерживаемому системой классу намерений. Наш набор данных также охватывает 150 классов намерений в 10 доменах, охватывая всю широту, с которой должен работать агент, ориентированный на производственные задачи. Он предлагает способ более строгого и реалистичного сравнения классификации текста в управляемых задачами диалоговых системах.

  • Домашняя страница : https://github.com/clinc/oos-eval/

  • Исходный код : tfds.text.ClincOOS

  • Версии :

    • 0.1.0 (по умолчанию): нет примечаний к выпуску.
  • Размер загрузки : 256.01 KiB

  • Размер набора данных : 3.40 MiB .

  • Автоматическое кэширование ( документация ): Да

  • Сплиты :

Расколоть Примеры
'test' 4500
'test_oos' 1000
'train' 15 000
'train_oos' 100
'validation' 3000
'validation_oos' 100
  • Структура функции :
FeaturesDict({
    'domain': tf.int32,
    'domain_name': Text(shape=(), dtype=tf.string),
    'intent': tf.int32,
    'intent_name': Text(shape=(), dtype=tf.string),
    'text': Text(shape=(), dtype=tf.string),
})
  • Документация по функциям :
Характерная черта Сорт Форма Dтип Описание
ОсобенностиDict
домен Тензор tf.int32
доменное имя Текст tf.string
намерение Тензор tf.int32
имя_намерения Текст tf.string
текст Текст tf.string
  • Цитата :
@inproceedings{larson-etal-2019-evaluation,
    title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
    author = "Larson, Stefan  and
      Mahendran, Anish  and
      Peper, Joseph J.  and
      Clarke, Christopher  and
      Lee, Andrew  and
      Hill, Parker  and
      Kummerfeld, Jonathan K.  and
      Leach, Kevin  and
      Laurenzano, Michael A.  and
      Tang, Lingjia  and
      Mars, Jason",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/D19-1131",
    doi = "10.18653/v1/D19-1131",
    pages = "1311--1316",
}