wiki_snippets

참고자료:

• 암호
• 포옹하는 얼굴

wiki40b_ko_100_0

TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.

ds = tfds.load('huggingface:wiki_snippets/wiki40b_en_100_0')

• 설명 :

Wikipedia version split into plain text snippets for dense semantic indexing.

• 라이센스 : 알려진 라이센스 없음
• 버전 : 1.0.0
• 분할 :

• 특징 :

{
    "_id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "datasets_id": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "wiki_id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "start_paragraph": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "start_character": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "end_paragraph": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "end_character": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "article_title": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "section_title": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "passage_text": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}

wikipedia_ko_100_0

TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.

ds = tfds.load('huggingface:wiki_snippets/wikipedia_en_100_0')

• 설명 :

Wikipedia version split into plain text snippets for dense semantic indexing.

• 라이센스 : 알려진 라이센스 없음
• 버전 : 2.0.0
• 분할 :

• 특징 :

{
    "_id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "datasets_id": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "wiki_id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "start_paragraph": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "start_character": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "end_paragraph": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "end_character": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "article_title": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "section_title": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "passage_text": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}