- תיאור :
Xtreme Benchmark
מדד ההעברה בין לשוניים של מקודדים רב-לשוניים (XTREME) הוא אמת מידה להערכת יכולת ההכללה בין-לשונית של מודלים רב-לשוניים שהוכשרו מראש. הוא מכסה 40 שפות מגוונות מבחינה טיפולוגית (המתפרשת על פני 12 משפחות שפות) וכולל תשע משימות המצריכות יחד חשיבה לגבי רמות שונות של תחביר וסמנטיקה. השפות ב-XTREME נבחרות כדי למקסם את גיוון השפות, הכיסוי במשימות הקיימות וזמינות נתוני ההדרכה. בין אלה ישנן שפות רבות שאינן נלמדות, כגון השפות הדרווידיות טמילית (המדוברות בדרום הודו, סרי לנקה וסינגפור), טלוגו ומלאיאלאם (המדוברות בעיקר בדרום הודו), ושפות ניג'ר-קונגו, סוואהילי ויורובה, המדוברות. באפריקה.
לתיאור מלא של המדד, עיין במאמר .
- עמוד הבית :
https://sites.research.google/xtreme
גרסאות :
-
1.0.0
(ברירת מחדל): שחרור ראשוני
-
מערכי נתונים בגרסת ברירת המחדל :
-
xnli
:xtreme_xnli:1.1.0
-
pawsx
:xtreme_pawsx:1.0.0
-
pos
:xtreme_pos:1.0.0
-
ner
:wikiann:1.0.0
-
xquad
:xquad:3.0.0
-
mlqa
:mlqa:1.0.0
-
tydiqa
:tydi_qa:3.0.0
-
bucc
:bucc:1.0.0
-
tatoeba
:tatoeba:1.0.0
-
ציטוט :