py_ast

อ้างอิง:

เหมือนเดิม

ใช้คำสั่งต่อไปนี้เพื่อโหลดชุดข้อมูลนี้ใน TFDS:

ds = tfds.load('huggingface:py_ast/ast')
  • คำอธิบาย :
dataset consisting of parsed Parsed ASTs that were used to train and
evaluate the DeepSyn tool.
The Python programs are collected from GitHub repositories
by removing duplicate files, removing project forks (copy of another existing repository)
,keeping only programs that parse and have at most 30'000 nodes in the AST and
we aim to remove obfuscated files
  • ใบอนุญาต : ไม่มีใบอนุญาตที่รู้จัก
  • เวอร์ชั่น : 0.0.0
  • แยก :
แยก ตัวอย่าง
'test' 50,000
'train' 100000
  • คุณสมบัติ :
{
    "ast": {
        "feature": {
            "type": {
                "dtype": "string",
                "id": null,
                "_type": "Value"
            },
            "value": {
                "dtype": "string",
                "id": null,
                "_type": "Value"
            },
            "children": {
                "feature": {
                    "dtype": "int32",
                    "id": null,
                    "_type": "Value"
                },
                "length": -1,
                "id": null,
                "_type": "Sequence"
            }
        },
        "length": -1,
        "id": null,
        "_type": "Sequence"
    }
}