لدي سؤال؟ تواصل مع المجتمع في منتدى زيارة منتدى TensorFlow

xquad

  • الوصف :

XQuAD (مجموعة بيانات الإجابة على الأسئلة متعددة اللغات) هي مجموعة بيانات معيارية لتقييم أداء الإجابة على الأسئلة عبر اللغات. تتكون مجموعة البيانات من مجموعة فرعية من 240 فقرة و 1190 زوجًا من الأسئلة والأجوبة من مجموعة تطوير SQuAD v1.1 (Rajpurkar وآخرون ، 2016) جنبًا إلى جنب مع ترجماتهم المهنية إلى عشر لغات: الإسبانية ، الألمانية ، اليونانية ، الروسية ، التركية والعربية والفيتنامية والتايلاندية والصينية والهندية. وبالتالي ، فإن مجموعة البيانات متوازية تمامًا عبر 11 لغة. لتشغيل XQuAD في الإعداد الافتراضي للصفر ، استخدم SQuAD v1.1 بيانات التدريب والتحقق من الصحة هنا: https://www.tensorflow.org/datasets/catalog/squad

نقوم أيضًا بتضمين تقسيمات "translate-train" و "translate-dev" و "translate-test" لكل لغة غير إنجليزية من XTREME (Hu et al.، 2020). يمكن استخدام هذه لتشغيل XQuAD في إعدادات "ترجمة-تدريب" أو "ترجمة-اختبار".

  • الصفحة الرئيسية : https://github.com/deepmind/xquad

  • كود المصدر : tfds.question_answering.Xquad

  • إصدارات :

    • 3.0.0 (افتراضي): يعمل على إصلاح المشكلة في عدد من الأمثلة حيث تكون فترات الإجابة غير محاذاة بسبب إزالة المسافة البيضاء من السياق. يؤثر هذا التغيير على ما يقرب من 14٪ من أمثلة الاختبار.
  • الميزات :

FeaturesDict({
    'answers': Sequence({
        'answer_start': tf.int32,
        'text': Text(shape=(), dtype=tf.string),
    }),
    'context': Text(shape=(), dtype=tf.string),
    'id': tf.string,
    'question': Text(shape=(), dtype=tf.string),
    'title': Text(shape=(), dtype=tf.string),
})
@article{Artetxe:etal:2019,
      author    = {Mikel Artetxe and Sebastian Ruder and Dani Yogatama},
      title     = {On the cross-lingual transferability of monolingual representations},
      journal   = {CoRR},
      volume    = {abs/1910.11856},
      year      = {2019},
      archivePrefix = {arXiv},
      eprint    = {1910.11856}
}

xquad / ar (التكوين الافتراضي)

  • وصف التكوين : تقسيم اختبار XQuAD 'ar' ، مع تقسيمات اختبار الترجمة المترجمة آليًا / المترجم / المترجم / dev / translate-test من XTREME (Hu et al. ، 2020).

  • حجم التحميل : 420.97 MiB

  • حجم مجموعة البيانات : 134.83 MiB

  • التخزين المؤقت التلقائي ( الوثائق ): نعم

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،190
'translate-dev' 10541
'translate-test' 1،151
'translate-train' 86787

xquad / دي

  • وصف التكوين : تقسيم اختبار XQuAD 'de' ، مع تقسيمات اختبار الترجمة المترجمة آليًا / المترجم / المترجم / dev / translate-test من XTREME (Hu et al. ، 2020).

  • حجم التحميل : 127.04 MiB

  • حجم مجموعة البيانات : 98.80 MiB

  • التخزين المؤقت التلقائي ( الوثائق ): نعم

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،190
'translate-dev' 10371
'translate-test' 1168
'translate-train' 82603

xquad / el

  • وصف التكوين : تقسيم اختبار XQuAD 'el' ، مع تقسيمات الترجمة المترجمة آليًا - القطار / المترجم - dev / المترجم - الاختبار من XTREME (Hu et al. ، 2020).

  • حجم التحميل : 499.40 MiB

  • حجم مجموعة البيانات : 157.90 MiB

  • التخزين المؤقت التلقائي ( التوثيق ): نعم (اختبار ، ترجمة ، ترجمة ، اختبار) ، فقط عندما يكون shuffle_files=False (ترجمة-تدريب)

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،190
'translate-dev' 10100
'translate-test' 1،182
'translate-train' 79،946

xquad / es

  • وصف التكوين : تقسيم اختبار XQuAD ، مع تقسيمات اختبار الترجمة المترجمة آليًا / المترجم / المترجم / التطوير / الترجمة من XTREME (Hu et al. ، 2020).

  • حجم التحميل : 138.41 MiB

  • حجم مجموعة البيانات : 104.96 MiB

  • التخزين المؤقت التلقائي ( الوثائق ): نعم

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،190
'translate-dev' 10566
'translate-test' 1،188
'translate-train' 87488

xquad / مرحبا

  • وصف التكوين : تقسيم اختبار XQuAD 'hi' ، مع تقسيمات الترجمة المترجمة آليًا - القطار / المترجم - dev / الترجمة - الاختبار من XTREME (Hu et al. ، 2020).

  • حجم التحميل : 472.23 MiB

  • حجم مجموعة البيانات : 207.85 MiB

  • التخزين المؤقت التلقائي ( التوثيق ): نعم (اختبار ، ترجمة ، ترجمة ، اختبار) ، فقط عند shuffle_files=False (ترجمة-تدريب)

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،190
'translate-dev' 10536
'translate-test' 1،184
'translate-train' 85804

xquad / رو

  • وصف التكوين : تقسيم اختبار XQuAD 'ru' ، مع تقسيمات الترجمة المترجمة آليًا - القطار / المترجم - dev / المترجم - الاختبار من XTREME (Hu et al. ، 2020).

  • حجم التحميل : 513.80 MiB

  • حجم مجموعة البيانات : 159.38 MiB

  • التخزين المؤقت التلقائي ( التوثيق ): نعم (اختبار ، ترجمة ، ترجمة ، اختبار) ، فقط عند shuffle_files=False (ترجمة-تدريب)

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،190
'translate-dev' 10469
'translate-test' 1،190
'translate-train' 84869

xquad / عشر

  • وصف التكوين : تقسيم اختبار XQuAD 'th' ، مع تقسيمات الترجمة الآلية المترجمة / المترجمة / المترجمة / dev / المترجمة - الاختبار من XTREME (Hu et al. ، 2020).

  • حجم التحميل : 461.54 MiB

  • حجم مجموعة البيانات : 199.57 MiB

  • التخزين المؤقت التلقائي ( التوثيق ): نعم (اختبار ، ترجمة ، ترجمة ، اختبار) ، فقط عند shuffle_files=False (ترجمة-تدريب)

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،190
'translate-dev' 10516
'translate-test' 1،157
'translate-train' 85846

xquad / tr

  • وصف التكوين : تقسيم اختبار XQuAD 'tr' ، مع تقسيمات الترجمة المترجمة آليًا - القطار / المترجم - dev / المترجم - الاختبار من XTREME (Hu et al. ، 2020)

  • حجم التحميل : 151.08 MiB

  • حجم مجموعة البيانات : 97.56 MiB

  • التخزين المؤقت التلقائي ( الوثائق ): نعم

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،190
'translate-dev' 10535
'translate-test' 1112
'translate-train' 86.511

xquad / السادس

  • وصف التكوين : تقسيم اختبار XQuAD 'vi' ، مع تقسيمات الترجمة المترجمة آليًا - القطار / المترجم - dev / المترجم - الاختبار من XTREME (Hu et al. ، 2020).

  • حجم التحميل : 218.09 MiB

  • حجم مجموعة البيانات : 120.03 MiB

  • التخزين المؤقت التلقائي ( الوثائق ): نعم

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،190
'translate-dev' 10،555
'translate-test' 1،178
'translate-train' 87187

xquad / zh

  • وصف التكوين : تقسيم اختبار XQuAD 'zh' ، مع تقسيمات الترجمة المترجمة آليًا - القطار / المترجم - dev / المترجم - الاختبار من XTREME (Hu et al. ، 2020).

  • حجم التحميل : 174.57 MiB

  • حجم مجموعة البيانات : 80.79 MiB

  • التخزين المؤقت التلقائي ( الوثائق ): نعم

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،190
'translate-dev' 10،475
'translate-test' 1،186
'translate-train' 85700

xquad / en

  • وصف التكوين : تقسيم اختبار XQuAD 'en'.

  • حجم التحميل : 595.10 KiB

  • حجم مجموعة البيانات : 1.19 MiB

  • التخزين المؤقت التلقائي ( الوثائق ): نعم

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،190