ช่วยปกป้อง Great Barrier Reef กับ TensorFlow บน Kaggle เข้าร่วมท้าทาย

ref_coco

  • รายละเอียด:

ชุดข้อมูลนิพจน์อ้างอิง 3 ชุดตามรูปภาพในชุดข้อมูล COCO นิพจน์อ้างอิงคือชิ้นส่วนของข้อความที่อธิบายวัตถุที่ไม่ซ้ำกันในรูปภาพ ชุดข้อมูลเหล่านี้รวบรวมโดยขอให้ผู้ประเมินที่เป็นมนุษย์แก้ความกำกวมของออบเจ็กต์ที่กำหนดโดยกล่องขอบเขตในชุดข้อมูล COCO

RefCoco และ RefCoco+ มาจาก Kazemzadeh et al 2014. นิพจน์ RefCoco+ เป็นคำอธิบายตามลักษณะที่ปรากฏอย่างเคร่งครัด ซึ่งบังคับใช้โดยป้องกันไม่ให้ผู้ประเมินใช้คำอธิบายตามสถานที่ (เช่น "บุคคลทางด้านขวา" ไม่ใช่คำอธิบายที่ถูกต้องสำหรับ RefCoco+) RefCocoG มาจาก Mao et al 2016 และมีคำอธิบายที่สมบูรณ์ของวัตถุมากกว่าเมื่อเปรียบเทียบกับ RefCoco เนื่องจากความแตกต่างในกระบวนการคำอธิบายประกอบ โดยเฉพาะอย่างยิ่ง RefCoco ถูกรวบรวมในการตั้งค่าเกมแบบโต้ตอบ ในขณะที่ RefCocoG ถูกรวบรวมในการตั้งค่าที่ไม่ใช่แบบโต้ตอบ โดยเฉลี่ยแล้ว RefCocoG มี 8.4 คำต่อนิพจน์ ในขณะที่ RefCoco มี 3.5 คำ

ชุดข้อมูลแต่ละชุดมีการจัดสรรแบบแยกส่วนที่แตกต่างกันซึ่งโดยทั่วไปแล้วจะรายงานทั้งหมดในเอกสาร ชุด "testA" และ "testB" ใน RefCoco และ RefCoco+ ประกอบด้วยผู้คนเท่านั้นและไม่ใช่บุคคลตามลำดับ ภาพจะถูกแบ่งออกเป็นส่วนๆ ในการแยก "google" ออบเจ็กต์ ไม่ใช่รูปภาพ จะถูกแบ่งระหว่างตัวแยกรถไฟและตัวแยกที่ไม่ใช่รถไฟ ซึ่งหมายความว่าภาพเดียวกันสามารถปรากฏในทั้งรถไฟและการแยกการตรวจสอบ แต่วัตถุที่ถูกอ้างถึงในภาพจะแตกต่างกันระหว่างสองชุด ในทางตรงกันข้าม "unc" และ "umd" จะแยกภาพพาร์ติชั่นระหว่างรถไฟ การตรวจสอบความถูกต้อง และการแยกการทดสอบ ใน RefCocoG การแยก "google" ไม่มีชุดการทดสอบตามรูปแบบบัญญัติ และโดยทั่วไปชุดการตรวจสอบความถูกต้องจะรายงานในเอกสารเป็น "val*"

สถิติสำหรับชุดข้อมูลและการแบ่งแต่ละชุด ("refs" คือจำนวนนิพจน์ที่อ้างอิง และ "images" คือจำนวนภาพ):

ชุดข้อมูล พาร์ทิชัน แยก ผู้อ้างอิง ภาพ
refcoco Google รถไฟ 40000 ค.ศ. 19213
refcoco Google วาล 5000 4559
refcoco Google ทดสอบ 5000 4527
refcoco unc รถไฟ 42404 16994
refcoco unc วาล 3811 1500
refcoco unc ทดสอบA พ.ศ. 2518 750
refcoco unc ทดสอบB 1810 750
refcoco+ unc รถไฟ 42278 16992
refcoco+ unc วาล 3805 1500
refcoco+ unc ทดสอบA พ.ศ. 2518 750
refcoco+ unc ทดสอบB 1798 750
refcocog Google รถไฟ 44822 24698
refcocog Google วาล 5000 4650
refcocog อืมม รถไฟ 42226 21899
refcocog อืมม วาล 2573 1300
refcocog อืมม ทดสอบ 5023 2600
  • โฮมเพจ: https://github.com/lichengunc/refer

  • รหัสที่มา: tfds.vision_language.refcoco.RefCoco

  • รุ่น:

    • 1.0.0 (เริ่มต้น): เริ่มต้นปล่อย
  • ขนาดการดาวน์โหลด: Unknown size

  • คำแนะนำการดาวน์โหลดคู่มือ: ชุดนี้คุณจะต้องดาวน์โหลดข้อมูลแหล่งที่มาของตนเองลงใน download_config.manual_dir (ค่าเริ่มต้น ~/tensorflow_datasets/downloads/manual/ ):

  • ตามคำแนะนำใน https://github.com/lichengunc/refer และดาวน์โหลดคำอธิบายประกอบและภาพที่ตรงกับข้อมูล / ไดเรกทอรีที่ระบุในการซื้อคืน

  1. ทำตามคำแนะนำของ PythonAPI ใน https://github.com/cocodataset/cocoapi ที่จะได้รับ pycocotools และคำอธิบายประกอบ instances_train2014 ไฟล์จาก https://cocodataset.org/#download

  2. เพิ่มทั้ง refer.py จาก (1) และ pycocotools จาก (2) ไปยัง PYTHONPATH ของคุณ

  3. เรียก manual_download_process.py เพื่อสร้าง refcoco.json เปลี่ยน ref_data_root , coco_annotations_file และ out_file ที่มีค่าที่สอดคล้องกับที่คุณได้ดาวน์โหลด / ต้องการบันทึกไฟล์เหล่านี้ โปรดทราบว่า manual_download_process.py สามารถพบได้ในที่เก็บ TFDS

  4. ดาวน์โหลดการฝึกอบรมชุด COCO จาก https://cocodataset.org/#download และติดลงในโฟลเดอร์ที่เรียกว่า coco_train2014/ / ย้าย refcoco.json ให้อยู่ในระดับเดียวกับ coco_train2014

  5. ปฏิบัติตามคำแนะนำในการดาวน์โหลดคู่มือมาตรฐาน

  • ออโต้แคช ( เอกสาร ): ไม่มี

  • คุณสมบัติ:

FeaturesDict({
    'coco_annotations': Sequence({
        'area': tf.int64,
        'bbox': BBoxFeature(shape=(4,), dtype=tf.float32),
        'id': tf.int64,
        'label': tf.int64,
    }),
    'image': Image(shape=(None, None, 3), dtype=tf.uint8),
    'image/id': tf.int64,
    'objects': Sequence({
        'area': tf.int64,
        'bbox': BBoxFeature(shape=(4,), dtype=tf.float32),
        'gt_box_index': tf.int64,
        'id': tf.int64,
        'label': tf.int64,
        'refexp': Sequence({
            'raw': Text(shape=(), dtype=tf.string),
            'refexp_id': tf.int64,
        }),
    }),
})
  • คีย์ภายใต้การดูแล (ดู as_supervised doc ): None

  • อ้างอิง:

@inproceedings{kazemzadeh2014referitgame,
  title={Referitgame: Referring to objects in photographs of natural scenes},
  author={Kazemzadeh, Sahar and Ordonez, Vicente and Matten, Mark and Berg, Tamara},
  booktitle={Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP)},
  pages={787--798},
  year={2014}
}
@inproceedings{yu2016modeling,
  title={Modeling context in referring expressions},
  author={Yu, Licheng and Poirson, Patrick and Yang, Shan and Berg, Alexander C and Berg, Tamara L},
  booktitle={European Conference on Computer Vision},
  pages={69--85},
  year={2016},
  organization={Springer}
}
@inproceedings{mao2016generation,
  title={Generation and Comprehension of Unambiguous Object Descriptions},
  author={Mao, Junhua and Huang, Jonathan and Toshev, Alexander and Camburu, Oana and Yuille, Alan and Murphy, Kevin},
  booktitle={CVPR},
  year={2016}
}
@inproceedings{nagaraja2016modeling,
  title={Modeling context between objects for referring expression understanding},
  author={Nagaraja, Varun K and Morariu, Vlad I and Davis, Larry S},
  booktitle={European Conference on Computer Vision},
  pages={792--807},
  year={2016},
  organization={Springer}
}

ref_coco/refcoco_unc (การกำหนดค่าเริ่มต้น)

  • ขนาดชุด: 3.24 GiB

  • แยก:

แยก ตัวอย่าง
'testA' 750
'testB' 750
'train' 16,994
'validation' 1,500

การสร้างภาพ

ref_coco/refcoco_google

  • ขนาดชุด: 4.60 GiB

  • แยก:

แยก ตัวอย่าง
'test' 4,527
'train' 19,213
'validation' 4,559

การสร้างภาพ

ref_coco/refcocoplus_unc

  • ขนาดชุด: 3.24 GiB

  • แยก:

แยก ตัวอย่าง
'testA' 750
'testB' 750
'train' 16,992
'validation' 1,500

การสร้างภาพ

ref_coco/refcocog_google

  • ขนาดชุด: 4.59 GiB

  • แยก:

แยก ตัวอย่าง
'train' 24,698
'validation' 4,650

การสร้างภาพ

ref_coco/refcocog_umd

  • ขนาดชุด: 4.04 GiB

  • แยก:

แยก ตัวอย่าง
'test' 2,600
'train' 21,899
'validation' 1,300

การสร้างภาพ