ช่วยปกป้อง Great Barrier Reef กับ TensorFlow บน Kaggle เข้าร่วมท้าทาย

xquad

  • รายละเอียด:

XQuAD (ชุดข้อมูลตอบคำถามข้ามภาษา) เป็นชุดข้อมูลมาตรฐานสำหรับการประเมินประสิทธิภาพการตอบคำถามข้ามภาษา ชุดข้อมูลประกอบด้วยชุดย่อย 240 ย่อหน้าและ 1190 คู่คำถาม-คำตอบจากชุดการพัฒนา SQuad v1.1 (Rajpurkar et al., 2016) พร้อมด้วยการแปลอย่างมืออาชีพเป็นสิบภาษา: สเปน เยอรมัน กรีก รัสเซีย ตุรกี , อารบิก, เวียดนาม, ไทย, จีน และฮินดี ดังนั้น ชุดข้อมูลจึงขนานกันทั้งหมด 11 ภาษา เมื่อต้องการเรียกใช้ XQuAD ในการตั้งค่าเป็นศูนย์ยิงเริ่มต้นใช้การฝึกอบรม v1.1 และการตรวจสอบข้อมูลทีมที่นี่: https://www.tensorflow.org/datasets/catalog/squad

นอกจากนี้เรายังรวมการแยก "translate-train", "translate-dev" และ "translate-test" สำหรับแต่ละภาษาที่ไม่ใช่ภาษาอังกฤษจาก XTREME (Hu et al., 2020) สามารถใช้เพื่อเรียกใช้ XQuaD ในการตั้งค่า "translate-train" หรือ "translate-test"

  • โฮมเพจ: https://github.com/deepmind/xquad

  • รหัสที่มา: tfds.question_answering.Xquad

  • รุ่น:

    • 3.0.0 (เริ่มต้น): การแก้ไขปัญหาที่มีจำนวนของตัวอย่างที่ครอบคลุมคำตอบจะ misaligned เนื่องจากบริบทการกำจัดพื้นที่สีขาว การเปลี่ยนแปลงนี้ส่งผลกระทบต่อตัวอย่างทดสอบประมาณ 14%
  • คุณสมบัติ:

FeaturesDict({
    'answers': Sequence({
        'answer_start': tf.int32,
        'text': Text(shape=(), dtype=tf.string),
    }),
    'context': Text(shape=(), dtype=tf.string),
    'id': tf.string,
    'question': Text(shape=(), dtype=tf.string),
    'title': Text(shape=(), dtype=tf.string),
})
  • คีย์ภายใต้การดูแล (ดู as_supervised doc ): None

  • รูป ( tfds.show_examples ): ไม่ได้รับการสนับสนุน

  • อ้างอิง:

@article{Artetxe:etal:2019,
      author    = {Mikel Artetxe and Sebastian Ruder and Dani Yogatama},
      title     = {On the cross-lingual transferability of monolingual representations},
      journal   = {CoRR},
      volume    = {abs/1910.11856},
      year      = {2019},
      archivePrefix = {arXiv},
      eprint    = {1910.11856}
}

xquad/ar (การกำหนดค่าเริ่มต้น)

  • คำอธิบาย Config: XQuAD 'เท่' แยกการทดสอบด้วยเครื่องแปลแปลรถไฟแยก / แปล-dev / แปลจากการทดสอบ XTREME (Hu et al, 2020).

  • ขนาดการดาวน์โหลด: 420.97 MiB

  • ขนาดชุด: 134.83 MiB

  • ออโต้แคช ( เอกสาร ): ใช่

  • แยก:

แยก ตัวอย่าง
'test' 1,190
'translate-dev' 10,541
'translate-test' 1,151
'translate-train' 86,787

xquad/de

  • คำอธิบาย Config: XQuAD 'de' แยกการทดสอบด้วยเครื่องแปลแปลรถไฟแยก / แปล-dev / แปลจากการทดสอบ XTREME (Hu et al, 2020).

  • ขนาดการดาวน์โหลด: 127.04 MiB

  • ขนาดชุด: 98.80 MiB

  • ออโต้แคช ( เอกสาร ): ใช่

  • แยก:

แยก ตัวอย่าง
'test' 1,190
'translate-dev' 10,371
'translate-test' 1,168
'translate-train' 82,603

xquad/เอล

  • คำอธิบาย Config: XQuAD 'el' การทดสอบแยกกับแยกเครื่องแปลแปลรถไฟ / แปล-dev / แปลจากการทดสอบ XTREME (. Hu et al, 2020)

  • ขนาดการดาวน์โหลด: 499.40 MiB

  • ขนาดชุด: 157.90 MiB

  • ออโต้แคช ( เอกสาร ): ใช่ (ทดสอบแปล-dev แปลทดสอบ) เฉพาะเมื่อ shuffle_files=False (แปลรถไฟ)

  • แยก:

แยก ตัวอย่าง
'test' 1,190
'translate-dev' 10,100
'translate-test' 1,182
'translate-train' 79,946

xquad/es

  • คำอธิบาย Config: การทดสอบแยก XQuAD 'ES' กับแยกเครื่องแปลแปลรถไฟ / แปล-dev / แปลจากการทดสอบ XTREME (. Hu et al, 2020)

  • ขนาดการดาวน์โหลด: 138.41 MiB

  • ขนาดชุด: 104.96 MiB

  • ออโต้แคช ( เอกสาร ): ใช่

  • แยก:

แยก ตัวอย่าง
'test' 1,190
'translate-dev' 10,566
'translate-test' 1,188
'translate-train' 87,488

xquad/สวัสดี

  • คำอธิบาย Config: XQuAD 'สวัสดี' แยกการทดสอบด้วยเครื่องแปลแปลรถไฟแยก / แปล-dev / แปลจากการทดสอบ XTREME (. Hu et al, 2020)

  • ขนาดการดาวน์โหลด: 472.23 MiB

  • ขนาดชุด: 207.85 MiB

  • ออโต้แคช ( เอกสาร ): ใช่ (ทดสอบแปล-dev แปลทดสอบ) เฉพาะเมื่อ shuffle_files=False (แปลรถไฟ)

  • แยก:

แยก ตัวอย่าง
'test' 1,190
'translate-dev' 10,536
'translate-test' 1,184
'translate-train' 85,804

xquad/ru

  • คำอธิบาย Config: XQuAD 'RU' การทดสอบแยกกับแยกเครื่องแปลแปลรถไฟ / แปล-dev / แปลจากการทดสอบ XTREME (. Hu et al, 2020)

  • ขนาดการดาวน์โหลด: 513.80 MiB

  • ขนาดชุด: 159.38 MiB

  • ออโต้แคช ( เอกสาร ): ใช่ (ทดสอบแปล-dev แปลทดสอบ) เฉพาะเมื่อ shuffle_files=False (แปลรถไฟ)

  • แยก:

แยก ตัวอย่าง
'test' 1,190
'translate-dev' 10,469
'translate-test' 1,190
'translate-train' 84,869

xquad/th

  • คำอธิบาย Config: XQuAD 'TH' แยกการทดสอบด้วยเครื่องแปลแปลรถไฟแยก / แปล-dev / แปลจากการทดสอบ XTREME (Hu et al, 2020).

  • ขนาดการดาวน์โหลด: 461.54 MiB

  • ขนาดชุด: 199.57 MiB

  • ออโต้แคช ( เอกสาร ): ใช่ (ทดสอบแปล-dev แปลทดสอบ) เฉพาะเมื่อ shuffle_files=False (แปลรถไฟ)

  • แยก:

แยก ตัวอย่าง
'test' 1,190
'translate-dev' 10,516
'translate-test' 1,157
'translate-train' 85,846

xquad/tr

  • คำอธิบาย Config: XQuAD 'ทีอาร์' แยกการทดสอบด้วยเครื่องแปลแปลรถไฟแยก / แปล-dev / แปลจากการทดสอบ XTREME (Hu et al, 2020).

  • ขนาดการดาวน์โหลด: 151.08 MiB

  • ขนาดชุด: 97.56 MiB

  • ออโต้แคช ( เอกสาร ): ใช่

  • แยก:

แยก ตัวอย่าง
'test' 1,190
'translate-dev' 10,535
'translate-test' 1,112
'translate-train' 86,511

xquad/vi

  • คำอธิบาย Config: XQuAD 'vi' แยกการทดสอบด้วยเครื่องแปลแปลรถไฟแยก / แปล-dev / แปลจากการทดสอบ XTREME (Hu et al, 2020).

  • ขนาดการดาวน์โหลด: 218.09 MiB

  • ขนาดชุด: 120.03 MiB

  • ออโต้แคช ( เอกสาร ): ใช่

  • แยก:

แยก ตัวอย่าง
'test' 1,190
'translate-dev' 10,555
'translate-test' 1,178
'translate-train' 87,187

xquad/zh

  • คำอธิบาย Config: XQuAD 'zh' แยกการทดสอบด้วยเครื่องแปลแปลรถไฟแยก / แปล-dev / แปลจากการทดสอบ XTREME (Hu et al, 2020).

  • ขนาดการดาวน์โหลด: 174.57 MiB

  • ขนาดชุด: 80.79 MiB

  • ออโต้แคช ( เอกสาร ): ใช่

  • แยก:

แยก ตัวอย่าง
'test' 1,190
'translate-dev' 10,475
'translate-test' 1,186
'translate-train' 85,700

xquad/en

  • คำอธิบาย Config: XQuAD 'en' การทดสอบแยก

  • ขนาดการดาวน์โหลด: 595.10 KiB

  • ขนาดชุด: 1.19 MiB

  • ออโต้แคช ( เอกสาร ): ใช่

  • แยก:

แยก ตัวอย่าง
'test' 1,190