שְׁנִינוּת

• תיאור :

ערכת נתונים מבוססת ויקיפדיה (WIT) היא מערך נתונים רב-לשוני רב-מודאלי. WIT מורכב מקבוצה אוצרת של 37.6 מיליון דוגמאות טקסט עשירות בתמונה עם 11.5 מיליון תמונות ייחודיות ב-108 שפות ויקיפדיה. גודלו מאפשר להשתמש ב-WIT כמערך אימון מקדים עבור מודלים של למידת מכונה רב-מודאלית.

• תיעוד נוסף : חקור על ניירות עם קוד north_east

• דף הבית : https://github.com/google-research-datasets/wit/

• קוד מקור : tfds.vision_language.wit.Wit

• גרסאות :

  • 1.0.0 : שחרור ראשוני. הוא טוען את מערך הנתונים של WIT מ https://storage.googleapis.com/gresearch/wit/
  • 1.1.0 (ברירת מחדל): נוספו val ערך test .

• גודל הורדה : 25.20 GiB

• גודל מערך נתונים : 81.17 GiB

• שמירה אוטומטית במטמון ( תיעוד ): לא

• פיצולים :

• מבנה תכונה :

FeaturesDict({
    'attribution_passes_lang_id': bool,
    'caption_alt_text_description': Text(shape=(), dtype=string),
    'caption_attribution_description': Text(shape=(), dtype=string),
    'caption_reference_description': Text(shape=(), dtype=string),
    'context_page_description': Text(shape=(), dtype=string),
    'context_section_description': Text(shape=(), dtype=string),
    'hierarchical_section_title': Text(shape=(), dtype=string),
    'image_url': Text(shape=(), dtype=string),
    'is_main_image': bool,
    'language': Text(shape=(), dtype=string),
    'mime_type': Text(shape=(), dtype=string),
    'original_height': int32,
    'original_width': int32,
    'page_changed_recently': bool,
    'page_title': Text(shape=(), dtype=string),
    'page_url': Text(shape=(), dtype=string),
    'section_title': Text(shape=(), dtype=string),
})

• תיעוד תכונה :

• מפתחות בפיקוח (ראה as_supervised doc ): None

• איור ( tfds.show_examples ): לא נתמך.

• דוגמאות ( tfds.as_dataframe ):

• ציטוט :

@article{srinivasan2021wit,
  title={WIT: Wikipedia-based Image Text Dataset for Multimodal Multilingual Machine Learning},
  author={Srinivasan, Krishna and Raman, Karthik and Chen, Jiecao and Bendersky, Michael and Najork, Marc},
  journal={arXiv preprint arXiv:2103.01913},
  year={2021}
}