ref_coco

• Tanım :

COCO veri kümesindeki görselleri temel alan 3 referanslı ifade veri kümesinden oluşan bir koleksiyon. Referans veren ifade, bir görüntüdeki benzersiz bir nesneyi tanımlayan bir metin parçasıdır. Bu veri kümeleri, insan değerlendiricilerden COCO veri kümesindeki sınırlayıcı kutularla tanımlanan nesnelerin belirsizliğini gidermeleri istenerek toplanır.

RefCoco ve RefCoco+, Kazemzadeh ve diğerlerine aittir. 2014. RefCoco+ ifadeleri kesinlikle görünüm temelli açıklamalardır ve değerlendiricilerin konuma dayalı açıklamalar kullanmasını engelleyerek zorunlu kılarlar (örneğin, "sağdaki kişi" RefCoco+ için geçerli bir açıklama değildir). RefCocoG, Mao ve diğerlerine aittir. 2016 ve açıklama sürecindeki farklılıklar nedeniyle RefCoco'ya kıyasla daha zengin nesne tanımlarına sahiptir. Özellikle RefCoco etkileşimli oyun tabanlı bir ortamda toplanırken, RefCocoG etkileşimli olmayan bir ortamda toplandı. Ortalama olarak RefCocoG'de ifade başına 8,4 kelime bulunurken RefCoco'da 3,5 kelime bulunur.

Her veri kümesinin, genellikle tümü belgelerde bildirilen farklı bölünmüş tahsisleri vardır. RefCoco ve RefCoco+'daki "testA" ve "testB" setleri sırasıyla yalnızca insanları ve yalnızca insan olmayanları içerir. Görüntüler çeşitli bölümlere ayrılmıştır. "Google" bölümünde tren ve tren dışı bölmeler arasında görüntüler değil nesneler bölünür. Bu, aynı görüntünün hem tren hem de doğrulama bölümünde görünebileceği ancak görüntüde atıfta bulunulan nesnelerin iki küme arasında farklı olacağı anlamına gelir. Buna karşılık, "unc" ve "umd" bölüm görüntülerini tren, doğrulama ve test bölümü arasında böler. RefCocoG'da "google" bölümünün kanonik bir test seti yoktur ve doğrulama seti genellikle makalelerde "val*" olarak rapor edilir.

Her veri kümesi ve bölünmeye ilişkin istatistikler ("refs", yönlendiren ifadelerin sayısıdır ve "resimler", görsellerin sayısıdır):

• Ek Belgeler : north_east Kodlu Makaleleri Keşfedin

• Ana sayfa : https://github.com/lichengunc/refer

• Kaynak kodu : tfds.datasets.ref_coco.Builder

• Sürümler :

  • 1.0.0 : İlk sürüm.
  • 1.1.0 (varsayılan) nights_stay : Maskeler eklendi.

• İndirme boyutu : Unknown size

• Manuel indirme talimatları : Bu veri kümesi, kaynak verilerini manuel olarak download_config.manual_dir içine indirmenizi gerektirir (varsayılan olarak ~/tensorflow_datasets/downloads/manual/ şeklindedir):
  

• https://github.com/lichengunc/refer adresindeki talimatları izleyin ve depoda belirtilen data/ dizini ile eşleşen ek açıklamaları ve görüntüleri indirin.

1. Pycocotools'u ve https://cocodataset.org/#download adresinden examples_train2014 ek açıklama dosyasını almak için https://github.com/cocodataset/cocoapi adresindeki PythonAPI talimatlarını izleyin.

2. Hem (1)'deki refer.py'yi hem de (2)'deki pycocotools'u PYTHONPATH'inize ekleyin.

3. ref_data_root , coco_annotations_file ve out_file bu dosyaları indirdiğiniz / kaydetmek istediğiniz yere karşılık gelen değerlerle değiştirerek refcoco.json oluşturmak için manual_download_process.py komutunu çalıştırın. Manual_download_process.py dosyasının TFDS deposunda bulunabileceğini unutmayın.

4. COCO eğitim setini https://cocodataset.org/#download adresinden indirin ve coco_train2014/ adlı bir klasöre yapıştırın. refcoco.json coco_train2014 ile aynı seviyeye taşıyın.

5. Standart manuel indirme talimatlarını izleyin.

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Özellik yapısı :

FeaturesDict({
    'coco_annotations': Sequence({
        'area': int64,
        'bbox': BBoxFeature(shape=(4,), dtype=float32),
        'id': int64,
        'label': int64,
    }),
    'image': Image(shape=(None, None, 3), dtype=uint8),
    'image/id': int64,
    'objects': Sequence({
        'area': int64,
        'bbox': BBoxFeature(shape=(4,), dtype=float32),
        'gt_box_index': int64,
        'id': int64,
        'label': int64,
        'mask': Image(shape=(None, None, 3), dtype=uint8),
        'refexp': Sequence({
            'raw': Text(shape=(), dtype=string),
            'refexp_id': int64,
        }),
    }),
})

• Özellik belgeleri :

• Denetlenen anahtarlar ( as_supervised belgesine bakın): None

• Alıntı :

@inproceedings{kazemzadeh2014referitgame,
  title={Referitgame: Referring to objects in photographs of natural scenes},
  author={Kazemzadeh, Sahar and Ordonez, Vicente and Matten, Mark and Berg, Tamara},
  booktitle={Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP)},
  pages={787--798},
  year={2014}
}
@inproceedings{yu2016modeling,
  title={Modeling context in referring expressions},
  author={Yu, Licheng and Poirson, Patrick and Yang, Shan and Berg, Alexander C and Berg, Tamara L},
  booktitle={European Conference on Computer Vision},
  pages={69--85},
  year={2016},
  organization={Springer}
}
@inproceedings{mao2016generation,
  title={Generation and Comprehension of Unambiguous Object Descriptions},
  author={Mao, Junhua and Huang, Jonathan and Toshev, Alexander and Camburu, Oana and Yuille, Alan and Murphy, Kevin},
  booktitle={CVPR},
  year={2016}
}
@inproceedings{nagaraja2016modeling,
  title={Modeling context between objects for referring expression understanding},
  author={Nagaraja, Varun K and Morariu, Vlad I and Davis, Larry S},
  booktitle={European Conference on Computer Vision},
  pages={792--807},
  year={2016},
  organization={Springer}
}

ref_coco/refcoco_unc (varsayılan yapılandırma)

• Veri kümesi boyutu : 3.29 GiB

• Bölünmeler :

• Şekil ( tfds.show_examples ):

• Örnekler ( tfds.as_dataframe ):

ref_coco/refcoco_google

• Veri kümesi boyutu : 4.65 GiB

• Bölünmeler :

• Şekil ( tfds.show_examples ):

• Örnekler ( tfds.as_dataframe ):

ref_coco/refcocoplus_unc

• Veri kümesi boyutu : 3.29 GiB

• Bölünmeler :

• Şekil ( tfds.show_examples ):

• Örnekler ( tfds.as_dataframe ):

ref_coco/refcocog_google

• Veri kümesi boyutu : 4.64 GiB

• Bölünmeler :

• Şekil ( tfds.show_examples ):

• Örnekler ( tfds.as_dataframe ):

ref_coco/refcocog_umd

• Veri kümesi boyutu : 4.08 GiB

• Bölünmeler :

• Şekil ( tfds.show_examples ):

• Örnekler ( tfds.as_dataframe ):