xtreme_s

• 説明:

FLEURS は FLORES 機械翻訳ベンチマークの音声バージョンで、n = 102 の言語で 2000 の n 方向並列文をカバーします。 XTREME-S は、音声認識、分類、音声からテキストへの翻訳、検索という 4 つのタスク ファミリをカバーします。 10 以上の言語ファミリー、3 つの異なるドメイン、および 4 つのタスク ファミリからの 102 言語をカバーする XTREME-S は、多言語音声表現の評価を簡素化し、「ユニバーサル」音声表現学習の研究を促進することを目的としています。

このバージョンでは、音声認識と音声からテキストへの翻訳をカバーする FLEURS データセットのみが提供されます。

• 構成の説明: FLEURS は FLORES 機械翻訳ベンチマークの音声バージョンで、n = 102 の言語で 2000 の n 方向並列文をカバーします。

• ホームページ: https://arxiv.org/abs/2205.12446

• ソースコード: tfds.audio.xtreme_s.XtremeS

• バージョン:

  • 2.0.0 (デフォルト): TFDS の初期リリース、FLEURS のみ。同じ FLEURS データを持つ huggingface のバージョン 2.0.0 と一致するように名前が付けられています ( https://huggingface.co/datasets/google/xtreme_s )。

• 自動キャッシュ(ドキュメント): いいえ

• 機能の構造:

FeaturesDict({
    'audio': Audio(shape=(None,), dtype=int64),
    'gender': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'id': Scalar(shape=(), dtype=int32),
    'lang_group_id': ClassLabel(shape=(), dtype=int64, num_classes=7),
    'lang_id': ClassLabel(shape=(), dtype=int64, num_classes=102),
    'language': Text(shape=(), dtype=string),
    'num_samples': Scalar(shape=(), dtype=int32),
    'path': string,
    'raw_transcription': Text(shape=(), dtype=string),
    'transcription': Text(shape=(), dtype=string),
})

• 機能ドキュメント:

• 監視キー( as_supervised docを参照): ('audio', 'transcription')

• 図( tfds.show_examples ): サポートされていません。

• 引用：

@article{fleurs2022arxiv,
  title = {FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech},
  author = {Conneau, Alexis and Ma, Min and Khanuja, Simran and Zhang, Yu and Axelrod, Vera and Dalmia, Siddharth and Riesa, Jason and Rivera, Clara and Bapna, Ankur},
  journal={arXiv preprint arXiv:2205.12446},
  url = {https://arxiv.org/abs/2205.12446},
  year = {2022},
}
@article{conneau2022xtreme,
  title={XTREME-S: Evaluating Cross-lingual Speech Representations},
  author={Conneau, Alexis and Bapna, Ankur and Zhang, Yu and Ma, Min and von Platen, Patrick and Lozhkov, Anton and Cherry, Colin and Jia, Ye and Rivera, Clara and Kale, Mihir and others},
  journal={arXiv preprint arXiv:2203.10752},
  year={2022}
}

xtreme_s/fleurs.af_za (デフォルト設定)

• ダウンロードサイズ: 877.09 MiB

• データセットのサイズ: 1.91 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.am_et

• ダウンロードサイズ: 2.18 GiB

• データセットのサイズ: 4.92 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ar_eg

• ダウンロードサイズ: 1.42 GiB

• データセットのサイズ: 3.06 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.as_in

• ダウンロードサイズ: 2.67 GiB

• データセットのサイズ: 5.73 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ast_es

• ダウンロードサイズ: 1.90 GiB

• データセットのサイズ: 4.03 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.az_az

• ダウンロードサイズ: 2.28 GiB

• データセットのサイズ: 5.08 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.be_by

• ダウンロードサイズ: 2.45 GiB

• データセットのサイズ: 5.53 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.bg_bg

• ダウンロードサイズ: 2.11 GiB

• データセットのサイズ: 4.61 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.bn_in

• ダウンロードサイズ: 2.77 GiB

• データセットのサイズ: 5.84 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.bs_ba

• ダウンロードサイズ: 2.32 GiB

• データセットのサイズ: 5.23 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ca_es

• ダウンロードサイズ: 2.01 GiB

• データセットのサイズ: 4.32 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ceb_ph

• ダウンロードサイズ: 2.63 GiB

• データセットのサイズ: 5.65 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ckb_iq

• ダウンロードサイズ: 2.46 GiB

• データセットのサイズ: 5.34 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.cmn_hans_cn

• ダウンロードサイズ: 2.35 GiB

• データセットのサイズ: 5.12 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.cs_cz

• ダウンロードサイズ: 1.93 GiB

• データセットのサイズ: 4.32 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.cy_gb

• ダウンロードサイズ: 2.90 GiB

• データセットのサイズ: 6.62 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.da_dk

• ダウンロードサイズ: 1.82 GiB

• データセットのサイズ: 4.17 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.de_de

• ダウンロードサイズ: 2.25 GiB

• データセットのサイズ: 4.88 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.el_gr

• ダウンロードサイズ: 2.24 GiB

• データセットのサイズ: 4.73 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.en_us

• ダウンロードサイズ: 1.72 GiB

• データセットのサイズ: 3.76 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.es_419

• ダウンロードサイズ: 2.14 GiB

• データセットのサイズ: 4.80 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.et_ee

• ダウンロードサイズ: 1.88 GiB

• データセットのサイズ: 4.20 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.fa_ir

• ダウンロードサイズ: 2.87 GiB

• データセットのサイズ: 6.34 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ff_sn

• ダウンロードサイズ: 2.93 GiB

• データセットのサイズ: 6.54 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.fi_fi

• ダウンロードサイズ: 2.21 GiB

• データセットのサイズ: 4.92 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.fil_ph

• ダウンロードサイズ: 2.47 GiB

• データセットのサイズ: 5.38 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.fr_fr

• ダウンロードサイズ: 2.08 GiB

• データセットのサイズ: 4.73 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ga_ie

• ダウンロードサイズ: 2.78 GiB

• データセットのサイズ: 6.24 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.gl_es

• ダウンロードサイズ: 1.79 GiB

• データセットのサイズ: 3.87 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.gu_in

• ダウンロードサイズ: 2.33 GiB

• データセットのサイズ: 4.97 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ha_ng

• ダウンロードサイズ: 3.14 GiB

• データセットのサイズ: 6.84 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.he_il

• ダウンロードサイズ: 2.22 GiB

• データセットのサイズ: 4.60 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.hi_in

• ダウンロードサイズ: 1.53 GiB

• データセットのサイズ: 3.27 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.hr_hr

• ダウンロードサイズ: 2.40 GiB

• データセットのサイズ: 5.54 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.hu_hu

• ダウンロードサイズ: 2.33 GiB

• データセットのサイズ: 5.07 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.hy_am

• ダウンロードサイズ: 2.30 GiB

• データセットのサイズ: 5.23 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.id_id

• ダウンロードサイズ: 2.21 GiB

• データセットのサイズ: 4.69 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ig_ng

• ダウンロードサイズ: 3.32 GiB

• データセットのサイズ: 7.44 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.is_is

• ダウンロードサイズ: 559.65 MiB

• データセットのサイズ: 1.16 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.it_it

• ダウンロードサイズ: 2.41 GiB

• データセットのサイズ: 5.19 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ja_jp

• ダウンロードサイズ: 1.83 GiB

• データセットのサイズ: 3.94 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.jv_id

• ダウンロードサイズ: 2.68 GiB

• データセットのサイズ: 5.62 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ka_ge

• ダウンロードサイズ: 1.50 GiB

• データセットのサイズ: 3.37 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.kam_ke

• ダウンロードサイズ: 3.43 GiB

• データセットのサイズ: 7.37 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.kea_cv

• ダウンロードサイズ: 2.55 GiB

• データセットのサイズ: 5.57 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.kk_kz

• ダウンロードサイズ: 2.69 GiB

• データセットのサイズ: 6.24 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.km_kh

• ダウンロードサイズ: 1.88 GiB

• データセットのサイズ: 4.26 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.kn_in

• ダウンロードサイズ: 2.26 GiB

• データセットのサイズ: 4.81 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ko_kr

• ダウンロードサイズ: 1.65 GiB

• データセットのサイズ: 3.67 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ky_kg

• ダウンロードサイズ: 2.18 GiB

• データセットのサイズ: 5.13 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.lb_lu

• ダウンロードサイズ: 1.94 GiB

• データセットのサイズ: 4.39 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.lg_ug

• ダウンロードサイズ: 2.83 GiB

• データセットのサイズ: 6.43 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ln_cd

• ダウンロードサイズ: 3.68 GiB

• データセットのサイズ: 8.13 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.lo_la

• ダウンロードサイズ: 1.61 GiB

• データセットのサイズ: 3.38 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.lt_lt

• ダウンロードサイズ: 2.24 GiB

• データセットのサイズ: 5.03 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.luo_ke

• ダウンロードサイズ: 1.87 GiB

• データセットのサイズ: 4.18 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.lv_lv

• ダウンロードサイズ: 1.74 GiB

• データセットのサイズ: 3.84 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.mi_nz

• ダウンロードサイズ: 4.45 GiB

• データセットのサイズ: 9.67 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.mk_mk

• ダウンロードサイズ: 1.91 GiB

• データセットのサイズ: 4.23 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ml_in

• ダウンロードサイズ: 2.68 GiB

• データセットのサイズ: 5.80 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.mn_mn

• ダウンロードサイズ: 2.21 GiB

• データセットのサイズ: 5.47 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.mr_in

• ダウンロードサイズ: 3.00 GiB

• データセットのサイズ: 6.41 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ms_my

• ダウンロードサイズ: 2.22 GiB

• データセットのサイズ: 4.74 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.mt_mt

• ダウンロードサイズ: 2.39 GiB

• データセットのサイズ: 5.37 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.my_mm

• ダウンロードサイズ: 2.85 GiB

• データセットのサイズ: 6.43 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.nb_no

• ダウンロードサイズ: 2.15 GiB

• データセットのサイズ: 4.68 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ne_np

• ダウンロードサイズ: 2.47 GiB

• データセットのサイズ: 5.39 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.nl_nl

• ダウンロードサイズ: 1.56 GiB

• データセットのサイズ: 3.33 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.nso_za

• ダウンロードサイズ: 3.27 GiB

• データセットのサイズ: 7.11 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ny_mw

• ダウンロードサイズ: 2.60 GiB

• データセットのサイズ: 5.76 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.oc_fr

• ダウンロードサイズ: 3.52 GiB

• データセットのサイズ: 7.43 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.om_et

• ダウンロードサイズ: 1.18 GiB

• データセットのサイズ: 2.52 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.or_in

• ダウンロードサイズ: 1.31 GiB

• データセットのサイズ: 2.79 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.pa_in

• ダウンロードサイズ: 1.58 GiB

• データセットのサイズ: 3.34 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.pl_pl

• ダウンロードサイズ: 1.95 GiB

• データセットのサイズ: 4.39 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ps_af

• ダウンロードサイズ: 1.89 GiB

• データセットのサイズ: 4.20 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.pt_br

• ダウンロードサイズ: 2.50 GiB

• データセットのサイズ: 5.43 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ro_ro

• ダウンロードサイズ: 2.39 GiB

• データセットのサイズ: 5.09 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ru_ru

• ダウンロードサイズ: 1.92 GiB

• データセットのサイズ: 4.25 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.sd_in

• ダウンロードサイズ: 3.00 GiB

• データセットのサイズ: 6.35 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.sk_sk

• ダウンロードサイズ: 1.55 GiB

• データセットのサイズ: 3.46 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.sl_si

• ダウンロードサイズ: 1.74 GiB

• データセットのサイズ: 4.00 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.sn_zw

• ダウンロードサイズ: 2.51 GiB

• データセットのサイズ: 5.61 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.so_so

• ダウンロードサイズ: 3.13 GiB

• データセットのサイズ: 6.93 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.sr_rs

• ダウンロードサイズ: 2.36 GiB

• データセットのサイズ: 5.04 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.sv_se

• ダウンロードサイズ: 1.95 GiB

• データセットのサイズ: 4.21 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.sw_ke

• ダウンロードサイズ: 2.70 GiB

• データセットのサイズ: 5.98 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ta_in

• ダウンロードサイズ: 2.13 GiB

• データセットのサイズ: 4.50 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.te_in

• ダウンロードサイズ: 1.81 GiB

• データセットのサイズ: 3.86 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.tg_tj

• ダウンロードサイズ: 1.79 GiB

• データセットのサイズ: 4.26 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.th_th

• ダウンロードサイズ: 2.24 GiB

• データセットのサイズ: 4.91 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.tr_tr

• ダウンロードサイズ: 1.99 GiB

• データセットのサイズ: 4.36 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.uk_ua

• ダウンロードサイズ: 2.01 GiB

• データセットのサイズ: 4.44 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.umb_ao

• ダウンロードサイズ: 2.58 GiB

• データセットのサイズ: 5.55 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.ur_pk

• ダウンロードサイズ: 1.42 GiB

• データセットのサイズ: 3.13 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.uz_uz

• ダウンロードサイズ: 2.33 GiB

• データセットのサイズ: 5.18 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.vi_vn

• ダウンロードサイズ: 2.21 GiB

• データセットのサイズ: 4.88 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.wo_sn

• ダウンロードサイズ: 1.71 GiB

• データセットのサイズ: 3.86 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.xh_za

• ダウンロードサイズ: 2.86 GiB

• データセットのサイズ: 6.80 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.yo_ng

• ダウンロードサイズ: 2.65 GiB

• データセットのサイズ: 5.78 GiB

• 分割:

• 例( tfds.as_dataframe ):

xtreme_s/fleurs.yue_hant_hk

• ダウンロードサイズ: 1.86 GiB

• データセットのサイズ: 4.06 GiB

• 分割:

• 例( tfds.as_dataframe ): 最初の 100 個の構成についてのみ表示されます。

xtreme_s/fleurs.zu_za

• ダウンロードサイズ: 3.15 GiB

• データセットのサイズ: 7.27 GiB

• 分割:

• 例( tfds.as_dataframe ): 最初の 100 個の構成についてのみ表示されます。

xtreme_s/fleurs.all

• ダウンロードサイズ: 231.36 GiB

• データセットのサイズ: 509.51 GiB

• 分割:

• 例( tfds.as_dataframe ): 最初の 100 個の構成についてのみ表示されます。