- תיאור :
תרגם מערך נתונים על סמך הנתונים מ-statmt.org.
גרסאות קיימות עבור השנים השונות תוך שימוש בשילוב של מספר מקורות נתונים. הבסיס wmt_translate
מאפשר לך ליצור תצורה משלך כדי לבחור צמד נתונים/שפות משלך על ידי יצירת tfds.translate.wmt.WmtConfig
מותאם אישית.
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
קוד מקור :
tfds.translate.Wmt19Translate
גרסאות :
-
1.0.0
(ברירת מחדל): אין הערות שחרור.
-
הוראות הורדה ידניות : מערך נתונים זה מחייב אותך להוריד את נתוני המקור באופן ידני אל
download_config.manual_dir
(ברירת המחדל היא~/tensorflow_datasets/downloads/manual/
):
חלק מתצורות ה-wmt כאן, דורשות הורדה ידנית. אנא עיין ב-wmt.py כדי לראות את הנתיב המדויק (ושם הקובץ) שיש להוריד.איור ( tfds.show_examples ): לא נתמך.
ציטוט :
@ONLINE {wmt19translate,
author = "Wikimedia Foundation",
title = "ACL 2019 Fourth Conference on Machine Translation (WMT19), Shared Task: Machine Translation of News",
url = "http://www.statmt.org/wmt19/translation-task.html"
}
wmt19_translate/cs-en (תצורת ברירת המחדל)
תיאור תצורה : מערך משימות תרגום WMT 2019 cs-en.
גודל הורדה :
1.88 GiB
גודל מערך נתונים :
3.64 GiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 20,246,548 |
'validation' | 2,983 |
- מבנה תכונה :
Translation({
'cs': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- תיעוד תכונה :
תכונה | מעמד | צוּרָה | Dtype | תיאור |
---|---|---|---|---|
תִרגוּם | ||||
cs | טֶקסט | חוּט | ||
he | טֶקסט | חוּט |
מפתחות בפיקוח (ראה
as_supervised
doc ):('cs', 'en')
דוגמאות ( tfds.as_dataframe ):
wmt19_translate/de-en
תיאור תצורה : מערך משימות תרגום WMT 2019 de-en.
גודל הורדה :
9.71 GiB
גודל מערך נתונים :
8.60 GiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 38,690,334 |
'validation' | 2,998 |
- מבנה תכונה :
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- תיעוד תכונה :
תכונה | מעמד | צוּרָה | Dtype | תיאור |
---|---|---|---|---|
תִרגוּם | ||||
דה | טֶקסט | חוּט | ||
he | טֶקסט | חוּט |
מפתחות בפיקוח (ראה
as_supervised
doc ):('de', 'en')
דוגמאות ( tfds.as_dataframe ):
wmt19_translate/fi-en
תיאור תצורה : מערך משימות תרגום WMT 2019 fi-en.
גודל הורדה :
959.46 MiB
גודל מערך נתונים :
1.46 GiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 6,587,448 |
'validation' | 3,000 |
- מבנה תכונה :
Translation({
'en': Text(shape=(), dtype=string),
'fi': Text(shape=(), dtype=string),
})
- תיעוד תכונה :
תכונה | מעמד | צוּרָה | Dtype | תיאור |
---|---|---|---|---|
תִרגוּם | ||||
he | טֶקסט | חוּט | ||
fi | טֶקסט | חוּט |
מפתחות בפיקוח (ראה
as_supervised
doc ):('fi', 'en')
דוגמאות ( tfds.as_dataframe ):
wmt19_translate/gu-en
תיאור תצורה : מערך משימות תרגום WMT 2019 gu-en.
גודל הורדה :
37.03 MiB
גודל מערך נתונים :
1.55 MiB
שמור אוטומטי במטמון ( תיעוד ): כן
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 11,670 |
'validation' | 1,998 |
- מבנה תכונה :
Translation({
'en': Text(shape=(), dtype=string),
'gu': Text(shape=(), dtype=string),
})
- תיעוד תכונה :
תכונה | מעמד | צוּרָה | Dtype | תיאור |
---|---|---|---|---|
תִרגוּם | ||||
he | טֶקסט | חוּט | ||
gu | טֶקסט | חוּט |
מפתחות בפיקוח (ראה
as_supervised
doc ):('gu', 'en')
דוגמאות ( tfds.as_dataframe ):
wmt19_translate/kk-en
תיאור תצורה : מערך משימות תרגום WMT 2019 kk-en.
גודל הורדה :
39.58 MiB
גודל ערכת נתונים:
11.82 MiB
שמור אוטומטי במטמון ( תיעוד ): כן
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 126,583 |
'validation' | 2,066 |
- מבנה תכונה :
Translation({
'en': Text(shape=(), dtype=string),
'kk': Text(shape=(), dtype=string),
})
- תיעוד תכונה :
תכונה | מעמד | צוּרָה | Dtype | תיאור |
---|---|---|---|---|
תִרגוּם | ||||
he | טֶקסט | חוּט | ||
kk | טֶקסט | חוּט |
מפתחות בפיקוח (ראה
as_supervised
doc ):('kk', 'en')
דוגמאות ( tfds.as_dataframe ):
wmt19_translate/lt-en
תיאור תצורה : מערך משימות תרגום WMT 2019 lt-en.
גודל הורדה :
392.20 MiB
גודל ערכת נתונים:
537.26 MiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 2,344,893 |
'validation' | 2,000 |
- מבנה תכונה :
Translation({
'en': Text(shape=(), dtype=string),
'lt': Text(shape=(), dtype=string),
})
- תיעוד תכונה :
תכונה | מעמד | צוּרָה | Dtype | תיאור |
---|---|---|---|---|
תִרגוּם | ||||
he | טֶקסט | חוּט | ||
לט | טֶקסט | חוּט |
מפתחות בפיקוח (ראה
as_supervised
doc ):('lt', 'en')
דוגמאות ( tfds.as_dataframe ):
wmt19_translate/ru-en
תיאור תצורה : מערך משימות תרגום WMT 2019 ru-en.
גודל הורדה :
1.57 GiB
גודל מערך נתונים :
13.95 GiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 38,492,126 |
'validation' | 3,000 |
- מבנה תכונה :
Translation({
'en': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- תיעוד תכונה :
תכונה | מעמד | צוּרָה | Dtype | תיאור |
---|---|---|---|---|
תִרגוּם | ||||
he | טֶקסט | חוּט | ||
ru | טֶקסט | חוּט |
מפתחות בפיקוח (ראה
as_supervised
doc ):('ru', 'en')
דוגמאות ( tfds.as_dataframe ):
wmt19_translate/zh-en
תיאור תצורה : מערך משימות תרגום WMT 2019 zh-en.
גודל הורדה :
770.91 MiB
גודל מערך נתונים :
6.49 GiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 25,986,436 |
'validation' | 3,981 |
- מבנה תכונה :
Translation({
'en': Text(shape=(), dtype=string),
'zh': Text(shape=(), dtype=string),
})
- תיעוד תכונה :
תכונה | מעמד | צוּרָה | Dtype | תיאור |
---|---|---|---|---|
תִרגוּם | ||||
he | טֶקסט | חוּט | ||
zh | טֶקסט | חוּט |
מפתחות בפיקוח (ראה
as_supervised
doc ):('zh', 'en')
דוגמאות ( tfds.as_dataframe ):
wmt19_translate/fr-de
תיאור תצורה : מערך משימות תרגום WMT 2019 fr-de.
גודל הורדה :
722.20 MiB
גודל מערך נתונים :
2.39 GiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 9,824,476 |
'validation' | 1,512 |
- מבנה תכונה :
Translation({
'de': Text(shape=(), dtype=string),
'fr': Text(shape=(), dtype=string),
})
- תיעוד תכונה :
תכונה | מעמד | צוּרָה | Dtype | תיאור |
---|---|---|---|---|
תִרגוּם | ||||
דה | טֶקסט | חוּט | ||
fr | טֶקסט | חוּט |
מפתחות בפיקוח (ראה
as_supervised
doc ):('fr', 'de')
דוגמאות ( tfds.as_dataframe ):