- Описание :
«Меньше базового программирования на Python» представляет собой сборник из 161 задачи по программированию с сопровождающими модульными тестами. Они были созданы с целью быть свежими (не утечь в сеть на момент создания) и более сложными, чем аналогичные наборы данных (например, HumanEval и MBPP). Он может служить заменой или дополнением этих наборов данных, поскольку они структурированы эквивалентным образом.
Домашняя страница : https://aclanthology.org/2024.findings-emnlp.772/
Исходный код :
tfds.datasets.lbpp.Builder
Версии :
-
2.0.0
(по умолчанию): нет примечаний к выпуску.
-
Автокэширование ( документация ): Да
Структура функции :
FeaturesDict({
'categories': Sequence(Text(shape=(), dtype=string)),
'completion': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'language': Text(shape=(), dtype=string),
'signature': Text(shape=(), dtype=string),
'task_id': Text(shape=(), dtype=string),
'test_file': Text(shape=(), dtype=string),
'test_list': Sequence(Text(shape=(), dtype=string)),
'test_setup': Text(shape=(), dtype=string),
'title': Text(shape=(), dtype=string),
})
- Функциональная документация :
Особенность | Сорт | Форма | Дтип | Описание |
---|---|---|---|---|
ВозможностиDict | ||||
категории | Последовательность (Текст) | (Никто,) | нить | |
завершение | Текст | нить | ||
инструкция | Текст | нить | ||
язык | Текст | нить | ||
подпись | Текст | нить | ||
идентификатор_задачи | Текст | нить | ||
тестовый_файл | Текст | нить | ||
test_list | Последовательность (Текст) | (Никто,) | нить | |
test_setup | Текст | нить | ||
заголовок | Текст | нить |
Контролируемые ключи (см. документ
as_supervised
):None
Рисунок ( tfds.show_examples ): не поддерживается.
Цитата :
@inproceedings{matton-etal-2024-leakage,
title = "On Leakage of Code Generation Evaluation Datasets",
author = "Matton, Alexandre and
Sherborne, Tom and
Aumiller, Dennis and
Tommasone, Elena and
Alizadeh, Milad and
He, Jingyi and
Ma, Raymond and
Voisin, Maxime and
Gilsenan-McMahon, Ellen and
Gall{\'e}, Matthias",
editor = "Al-Onaizan, Yaser and
Bansal, Mohit and
Chen, Yun-Nung",
booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2024",
month = nov,
year = "2024",
address = "Miami, Florida, USA",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2024.findings-emnlp.772/",
doi = "10.18653/v1/2024.findings-emnlp.772",
pages = "13215--13223",
}
lbpp/all (конфигурация по умолчанию)
Описание конфигурации : Многоязычный LBPP.
Размер загрузки :
1.78 MiB
Размер набора данных :
4.30 MiB
Расколы :
Расколоть | Примеры |
---|---|
'test' | 944 |
- Примеры ( tfds.as_dataframe ):
лбпп/многоязычный
Описание конфигурации : Многоязычный LBPP.
Размер загрузки :
1.78 MiB
Размер набора данных :
4.30 MiB
Расколы :
Расколоть | Примеры |
---|---|
'test' | 944 |
- Примеры ( tfds.as_dataframe ):
лбпп/по умолчанию
Описание конфигурации : Python LBPP.
Размер загрузки :
279.90 KiB
Размер набора данных :
627.04 KiB
Расколы :
Расколоть | Примеры |
---|---|
'test' | 162 |
- Примеры ( tfds.as_dataframe ):
lbpp/питон
Описание конфигурации : Python LBPP.
Размер загрузки :
279.90 KiB
Размер набора данных :
627.04 KiB
Расколы :
Расколоть | Примеры |
---|---|
'test' | 162 |
- Примеры ( tfds.as_dataframe ):
фунт/пп/cpp
Описание конфигурации : C++ LBPP.
Размер загрузки :
314.45 KiB
Размер набора данных :
761.87 KiB
Расколы :
Расколоть | Примеры |
---|---|
'test' | 161 |
- Примеры ( tfds.as_dataframe ):
фунт/пп/го
Описание конфигурации : Go LBPP.
Размер загрузки :
317.09 KiB
Размер набора данных :
687.23 KiB
Расколы :
Расколоть | Примеры |
---|---|
'test' | 161 |
- Примеры ( tfds.as_dataframe ):
лбпп/Java
Описание конфигурации : Java LBPP.
Размер загрузки :
337.90 KiB
Размер набора данных :
887.40 KiB
Расколы :
Расколоть | Примеры |
---|---|
'test' | 158 |
- Примеры ( tfds.as_dataframe ):
лбпп/js
Описание конфигурации : JavaScript LBPP.
Размер загрузки :
303.40 KiB
Размер набора данных :
756.69 KiB
Расколы :
Расколоть | Примеры |
---|---|
'test' | 153 |
- Примеры ( tfds.as_dataframe ):
lbpp/javascript
Описание конфигурации : JavaScript LBPP.
Размер загрузки :
303.40 KiB
Размер набора данных :
756.69 KiB
Расколы :
Расколоть | Примеры |
---|---|
'test' | 153 |
- Примеры ( tfds.as_dataframe ):
лбпп/ржавчина
Описание конфигурации : JavaScript LBPP.
Размер загрузки :
272.61 KiB
Размер набора данных :
684.31 KiB
Расколы :
Расколоть | Примеры |
---|---|
'test' | 149 |
- Примеры ( tfds.as_dataframe ):