extrême

  • Descriptif :

Référence Xtrême

Le benchmark XTREME (Cross-lingual TRansfer Evaluation of Multilingual Encoders) est un benchmark pour l'évaluation de la capacité de généralisation multilingue des modèles multilingues pré-entraînés. Il couvre 40 langues typologiquement diverses (couvrant 12 familles de langues) et comprend neuf tâches qui nécessitent collectivement un raisonnement sur différents niveaux de syntaxe et de sémantique. Les langues dans XTREME sont sélectionnées pour maximiser la diversité linguistique, la couverture des tâches existantes et la disponibilité des données de formation. Parmi celles-ci figurent de nombreuses langues sous-étudiées, telles que les langues dravidiennes tamoul (parlées dans le sud de l'Inde, au Sri Lanka et à Singapour), le télougou et le malayalam (parlés principalement dans le sud de l'Inde), et les langues nigéro-congolaises swahili et yoruba, parlées en Afrique.

Pour une description complète du benchmark, voir le document .

  • Page d'accueil :

https://sites.research.google/xtreme