ref_coco

• Описание :

Коллекция из трех наборов данных ссылающихся выражений, основанных на изображениях в наборе данных COCO. Ссылающееся выражение — это фрагмент текста, описывающий уникальный объект на изображении. Эти наборы данных собираются путем просьбы оценщиков устранить неоднозначность объектов, очерченных ограничивающими рамками в наборе данных COCO.

RefCoco и RefCoco+ предоставлены Каземзаде и др. 2014. Выражения RefCoco+ представляют собой описания, основанные исключительно на внешнем виде, которые они обеспечивают, не позволяя оценщикам использовать описания на основе местоположения (например, «человек справа» не является допустимым описанием для RefCoco+). RefCocoG от Mao et al. 2016 и имеет более подробное описание объектов по сравнению с RefCoco из-за различий в процессе аннотирования. В частности, RefCoco был собран в интерактивной игровой среде, а RefCocoG — в неинтерактивной. В среднем RefCocoG содержит 8,4 слова на выражение, а RefCoco — 3,5 слова.

Каждый набор данных имеет различные распределения, о которых обычно сообщается в документах. Наборы «testA» и «testB» в RefCoco и RefCoco+ содержат только людей и только нелюдей соответственно. Изображения разделены на различные части. При разделении «Google» объекты, а не изображения, распределяются между разделами «поезд» и «не-поезд». Это означает, что одно и то же изображение может появиться как в разделении поезда, так и в разделении проверки, но объекты, на которые ссылается изображение, в этих двух наборах будут разными. Напротив, «unc» и «umd» разделяют образы разделов между обучающим, проверочным и тестовым разделением. В RefCocoG разделение «google» не имеет канонического набора тестов, а набор проверки обычно обозначается в статьях как «val*».

Статистика для каждого набора данных и разделения («refs» — количество ссылающихся выражений, а «images» — количество изображений):

• Дополнительная документация : Изучите статьи с кодом north_east

• Домашняя страница : https://github.com/lichengunc/refer .

• Исходный код : tfds.datasets.ref_coco.Builder

• Версии :

  • 1.0.0 : Начальная версия.
  • 1.1.0 (по умолчанию) nights_stay : добавлены маски.

• Размер загрузки : Unknown size

• Инструкции по загрузке вручную : этот набор данных требует, чтобы вы вручную загрузили исходные данные в download_config.manual_dir (по умолчанию ~/tensorflow_datasets/downloads/manual/ ):
  

• Следуйте инструкциям в https://github.com/lichengunc/refer и загрузите аннотации и изображения, соответствующие каталогу data/, указанному в репозитории.

1. Следуйте инструкциям PythonAPI в https://github.com/cocodataset/cocoapi , чтобы получить pycocotools и файл аннотаций instance_train2014 с https://cocodataset.org/#download.

2. Добавьте в свой PYTHONPATH оба файла Refer.py из (1) и pycocotools из (2).

3. Запустите файл manual_download_process.py, чтобы сгенерировать refcoco.json, заменив ref_data_root , coco_annotations_file и out_file значениями, соответствующими тому месту, где вы загрузили или хотите сохранить эти файлы. Обратите внимание, что файл manual_download_process.py можно найти в репозитории TFDS.

4. Загрузите обучающий набор COCO с https://cocodataset.org/#download и вставьте его в папку с именем coco_train2014/ . Переместите refcoco.json на тот же уровень, что и coco_train2014 .

5. Следуйте стандартным инструкциям по загрузке вручную.

• Автокэширование ( документация ): Нет

• Структура функции :

FeaturesDict({
    'coco_annotations': Sequence({
        'area': int64,
        'bbox': BBoxFeature(shape=(4,), dtype=float32),
        'id': int64,
        'label': int64,
    }),
    'image': Image(shape=(None, None, 3), dtype=uint8),
    'image/id': int64,
    'objects': Sequence({
        'area': int64,
        'bbox': BBoxFeature(shape=(4,), dtype=float32),
        'gt_box_index': int64,
        'id': int64,
        'label': int64,
        'mask': Image(shape=(None, None, 3), dtype=uint8),
        'refexp': Sequence({
            'raw': Text(shape=(), dtype=string),
            'refexp_id': int64,
        }),
    }),
})

• Функциональная документация :

• Контролируемые ключи (см. документ as_supervised ): None

• Цитата :

@inproceedings{kazemzadeh2014referitgame,
  title={Referitgame: Referring to objects in photographs of natural scenes},
  author={Kazemzadeh, Sahar and Ordonez, Vicente and Matten, Mark and Berg, Tamara},
  booktitle={Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP)},
  pages={787--798},
  year={2014}
}
@inproceedings{yu2016modeling,
  title={Modeling context in referring expressions},
  author={Yu, Licheng and Poirson, Patrick and Yang, Shan and Berg, Alexander C and Berg, Tamara L},
  booktitle={European Conference on Computer Vision},
  pages={69--85},
  year={2016},
  organization={Springer}
}
@inproceedings{mao2016generation,
  title={Generation and Comprehension of Unambiguous Object Descriptions},
  author={Mao, Junhua and Huang, Jonathan and Toshev, Alexander and Camburu, Oana and Yuille, Alan and Murphy, Kevin},
  booktitle={CVPR},
  year={2016}
}
@inproceedings{nagaraja2016modeling,
  title={Modeling context between objects for referring expression understanding},
  author={Nagaraja, Varun K and Morariu, Vlad I and Davis, Larry S},
  booktitle={European Conference on Computer Vision},
  pages={792--807},
  year={2016},
  organization={Springer}
}

ref_coco/refcoco_unc (конфигурация по умолчанию)

• Размер набора данных : 3.29 GiB

• Расколы :

• Рисунок ( tfds.show_examples ):

• Примеры ( tfds.as_dataframe ):

ref_coco/refcoco_google

• Размер набора данных : 4.65 GiB

• Расколы :

• Рисунок ( tfds.show_examples ):

• Примеры ( tfds.as_dataframe ):

ref_coco/refcocoplus_unc

• Размер набора данных : 3.29 GiB

• Расколы :

• Рисунок ( tfds.show_examples ):

• Примеры ( tfds.as_dataframe ):

ref_coco/refcocog_google

• Размер набора данных : 4.64 GiB

• Расколы :

• Рисунок ( tfds.show_examples ):

• Примеры ( tfds.as_dataframe ):

ref_coco/refcocog_umd

• Размер набора данных : 4.08 GiB

• Расколы :

• Рисунок ( tfds.show_examples ):

• Примеры ( tfds.as_dataframe ):