lbpp

• תיאור :

תכנות פייתון פחות בסיסי הוא אוסף של 161 בעיות תכנות עם בדיקות יחידות נלוות. הם נוצרו במטרה להיות טריים (לא דלפו בזמן היצירה) וקשים יותר ממערכי נתונים דומים (למשל, HumanEval ו-MBPP). זה יכול לשמש כתחליף או העשרה של מערכי נתונים אלה, שכן הם בנויים בצורה שווה.

• דף הבית : https://aclanthology.org/2024.findings-emnlp.772/

• קוד מקור : tfds.datasets.lbpp.Builder

• גרסאות :

  • 2.0.0 (ברירת מחדל): אין הערות שחרור.

• שמור אוטומטי במטמון ( תיעוד ): כן

• מבנה תכונה :

FeaturesDict({
    'categories': Sequence(Text(shape=(), dtype=string)),
    'completion': Text(shape=(), dtype=string),
    'instruction': Text(shape=(), dtype=string),
    'language': Text(shape=(), dtype=string),
    'signature': Text(shape=(), dtype=string),
    'task_id': Text(shape=(), dtype=string),
    'test_file': Text(shape=(), dtype=string),
    'test_list': Sequence(Text(shape=(), dtype=string)),
    'test_setup': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})

• תיעוד תכונה :

• מפתחות בפיקוח (ראה as_supervised doc ): None

• איור ( tfds.show_examples ): לא נתמך.

• ציטוט :

@inproceedings{matton-etal-2024-leakage,
    title = "On Leakage of Code Generation Evaluation Datasets",
    author = "Matton, Alexandre  and
      Sherborne, Tom  and
      Aumiller, Dennis  and
      Tommasone, Elena  and
      Alizadeh, Milad  and
      He, Jingyi  and
      Ma, Raymond  and
      Voisin, Maxime  and
      Gilsenan-McMahon, Ellen  and
      Gall{\'e}, Matthias",
    editor = "Al-Onaizan, Yaser  and
      Bansal, Mohit  and
      Chen, Yun-Nung",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2024",
    month = nov,
    year = "2024",
    address = "Miami, Florida, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.findings-emnlp.772/",
    doi = "10.18653/v1/2024.findings-emnlp.772",
    pages = "13215--13223",
}

lbpp/all (תצורת ברירת המחדל)

• תיאור תצורה : LBPP רב לשוני

• גודל הורדה : 1.78 MiB

• גודל מערך נתונים : 4.30 MiB

• פיצולים :

• דוגמאות ( tfds.as_dataframe ):

lbpp/רב לשוני

• תיאור תצורה : LBPP רב לשוני

• גודל הורדה : 1.78 MiB

• גודל מערך נתונים : 4.30 MiB

• פיצולים :

• דוגמאות ( tfds.as_dataframe ):

lbpp/default

• תיאור תצורה : Python LBPP

• גודל הורדה : 279.90 KiB

• גודל מערך נתונים : 627.04 KiB

• פיצולים :

• דוגמאות ( tfds.as_dataframe ):

lbpp/python

• תיאור תצורה : Python LBPP

• גודל הורדה : 279.90 KiB

• גודל מערך נתונים : 627.04 KiB

• פיצולים :

• דוגמאות ( tfds.as_dataframe ):

lbpp/cpp

• תיאור תצורה : C++ LBPP

• גודל הורדה : 314.45 KiB

• גודל מערך נתונים : 761.87 KiB

• פיצולים :

• דוגמאות ( tfds.as_dataframe ):

lbpp/go

• תיאור תצורה : עבור ל-LBPP

• גודל הורדה : 317.09 KiB

• גודל מערך נתונים : 687.23 KiB

• פיצולים :

• דוגמאות ( tfds.as_dataframe ):

lbpp/java

• תיאור תצורה : Java LBPP

• גודל הורדה : 337.90 KiB

• גודל ערכת נתונים : 887.40 KiB

• פיצולים :

• דוגמאות ( tfds.as_dataframe ):

lbpp/js

• תיאור תצורה : JavaScript LBPP

• גודל הורדה : 303.40 KiB

• גודל מערך נתונים : 756.69 KiB

• פיצולים :

• דוגמאות ( tfds.as_dataframe ):

lbpp/javascript

• תיאור תצורה : JavaScript LBPP

• גודל הורדה : 303.40 KiB

• גודל מערך נתונים : 756.69 KiB

• פיצולים :

• דוגמאות ( tfds.as_dataframe ):

lbpp/חלודה

• תיאור תצורה : JavaScript LBPP

• גודל הורדה : 272.61 KiB

• גודל מערך נתונים : 684.31 KiB

• פיצולים :

• דוגמאות ( tfds.as_dataframe ):