c4

• Descriptif :

Une version colossale et nettoyée du corpus de crawl Web de Common Crawl.

Basé sur le jeu de données Common Crawl : https://commoncrawl.org

Pour générer cet ensemble de données, veuillez suivre les instructions de t5 .

En raison de la surcharge de nettoyage de l'ensemble de données, il est recommandé de le préparer avec un service distribué tel que Cloud Dataflow. Plus d'informations sur https://www.tensorflow.org/datasets/beam_datasets

• Documentation complémentaire : Explorer sur Papers With Code north_east

• Page d' accueil : https://github.com/google-research/text-to-text-transfer-transformer#datasets

• Code source : tfds.text.C4

• Versions :

  • 2.2.0 : Aucune note de version.
  • 2.2.1 : Aucune note de version.
  • 2.3.0 : Aucune note de version.
  • 2.3.1 : Aucune note de version.
  • 3.1.0 (par défaut) : aucune note de version.

• Instructions de téléchargement manuel : cet ensemble de données nécessite que vous téléchargiez manuellement les données sources dans download_config.manual_dir (par défaut ~/tensorflow_datasets/downloads/manual/ ) :
  Vous utilisez une configuration C4 qui nécessite le téléchargement manuel de certains fichiers. Pour c4/webtextlike , téléchargez OpenWebText.zip depuis https://mega.nz/#F!EZZD0YwJ!9_PlEQzdMVLaNdKv_ICNVQ

• Mise en cache automatique ( documentation ): Non

• Structure des fonctionnalités :

FeaturesDict({
    'content-length': Text(shape=(), dtype=string),
    'content-type': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
    'timestamp': Text(shape=(), dtype=string),
    'url': Text(shape=(), dtype=string),
})

• Documentation des fonctionnalités :

• Clés supervisées (Voir as_supervised doc ): None

• Figure ( tfds.show_examples ) : non pris en charge.

• Citation :

@article{2019t5,
  author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {arXiv e-prints},
  year = {2019},
  archivePrefix = {arXiv},
  eprint = {1910.10683},
}

c4/fr (configuration par défaut)

• Description de la configuration : ensemble de données C4 en anglais.

• Taille du téléchargement : 201.98 KiB

• Taille du jeu de données : 806.87 GiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

c4/fr.noclean

• Description de la configuration : Désactive tout nettoyage (déduplication, suppression basée sur des mots grossiers, etc.)

• Taille du téléchargement : 177.11 KiB

• Taille du jeu de données : 6.21 TiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

c4/realnewslike

• Description de la configuration : filtres de la configuration par défaut pour n'inclure que le contenu des domaines utilisés dans l'ensemble de données "RealNews" (Zellers et al., 2019).

• Taille du téléchargement : 340.29 KiB

• Taille du jeu de données : 36.91 GiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

c4/webtextlike

• Description de la configuration : filtre à partir de la configuration par défaut pour n'inclure que le contenu des URL dans OpenWebText ( https://github.com/jcpeterson/openwebtext ).

• Taille du téléchargement : 2.04 MiB

• Taille du jeu de données : 17.93 GiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

c4/multilingue

• Description de la configuration : Le C4 multilingue (mC4) comprend 101 langues et est généré à partir de 86 dumps Common Crawl.

• Taille du téléchargement : 13.60 MiB

• Taille du jeu de données : 38.49 TiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):