lbpp

• Description :

Less Basic Python Programming est une collection de 161 problèmes de programmation accompagnés de tests unitaires. Ils ont été créés dans le but d'être récents (non divulgués au moment de la création) et plus difficiles que des ensembles de données similaires (par exemple, HumanEval et MBPP). Il peut servir de remplacement ou d’enrichissement immédiat de ces ensembles de données car ils sont structurés de manière équivalente.

• Page d'accueil : https://aclanthology.org/2024.findings-emnlp.772/

• Code source : tfds.datasets.lbpp.Builder

• Versions :

  • 2.0.0 (par défaut) : Aucune note de version.

• Mise en cache automatique ( documentation ) : Oui

• Structure des fonctionnalités :

FeaturesDict({
    'categories': Sequence(Text(shape=(), dtype=string)),
    'completion': Text(shape=(), dtype=string),
    'instruction': Text(shape=(), dtype=string),
    'language': Text(shape=(), dtype=string),
    'signature': Text(shape=(), dtype=string),
    'task_id': Text(shape=(), dtype=string),
    'test_file': Text(shape=(), dtype=string),
    'test_list': Sequence(Text(shape=(), dtype=string)),
    'test_setup': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})

• Documentation des fonctionnalités :

• Clés supervisées (Voir doc as_supervised ) : None

• Figure ( tfds.show_examples ) : non pris en charge.

• Citation :

@inproceedings{matton-etal-2024-leakage,
    title = "On Leakage of Code Generation Evaluation Datasets",
    author = "Matton, Alexandre  and
      Sherborne, Tom  and
      Aumiller, Dennis  and
      Tommasone, Elena  and
      Alizadeh, Milad  and
      He, Jingyi  and
      Ma, Raymond  and
      Voisin, Maxime  and
      Gilsenan-McMahon, Ellen  and
      Gall{\'e}, Matthias",
    editor = "Al-Onaizan, Yaser  and
      Bansal, Mohit  and
      Chen, Yun-Nung",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2024",
    month = nov,
    year = "2024",
    address = "Miami, Florida, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.findings-emnlp.772/",
    doi = "10.18653/v1/2024.findings-emnlp.772",
    pages = "13215--13223",
}

lbpp/all (configuration par défaut)

• Description de la configuration : LBPP multilingue

• Taille du téléchargement : 1.78 MiB

• Taille du jeu de données : 4.30 MiB

• Divisions :

• Exemples ( tfds.as_dataframe ) :

lbpp/multilingue

• Description de la configuration : LBPP multilingue

• Taille du téléchargement : 1.78 MiB

• Taille du jeu de données : 4.30 MiB

• Divisions :

• Exemples ( tfds.as_dataframe ) :

lbpp/par défaut

• Description de la configuration : Python LBPP

• Taille du téléchargement : 279.90 KiB

• Taille de l'ensemble de données : 627.04 KiB

• Divisions :

• Exemples ( tfds.as_dataframe ) :

lbpp/python

• Description de la configuration : Python LBPP

• Taille du téléchargement : 279.90 KiB

• Taille de l'ensemble de données : 627.04 KiB

• Divisions :

• Exemples ( tfds.as_dataframe ) :

lbpp/cpp

• Description de la configuration : C++ LBPP

• Taille du téléchargement : 314.45 KiB

• Taille de l'ensemble de données : 761.87 KiB

• Divisions :

• Exemples ( tfds.as_dataframe ) :

lbpp/aller

• Description de la configuration : Go LBPP

• Taille du téléchargement : 317.09 KiB

• Taille de l'ensemble de données : 687.23 KiB

• Divisions :

• Exemples ( tfds.as_dataframe ) :

lbpp/java

• Description de la configuration : Java LBPP

• Taille du téléchargement : 337.90 KiB

• Taille de l'ensemble de données : 887.40 KiB

• Divisions :

• Exemples ( tfds.as_dataframe ) :

lbpp/js

• Description de la configuration : JavaScript LBPP

• Taille du téléchargement : 303.40 KiB

• Taille de l'ensemble de données : 756.69 KiB

• Divisions :

• Exemples ( tfds.as_dataframe ) :

lbpp/javascript

• Description de la configuration : JavaScript LBPP

• Taille du téléchargement : 303.40 KiB

• Taille de l'ensemble de données : 756.69 KiB

• Divisions :

• Exemples ( tfds.as_dataframe ) :

lbpp/rouille

• Description de la configuration : JavaScript LBPP

• Taille du téléchargement : 272.61 KiB

• Taille de l'ensemble de données : 684.31 KiB

• Divisions :

• Exemples ( tfds.as_dataframe ) :