opus_paracrawl

참고자료:

• 암호
• 포옹하는 얼굴

엘엔

TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.

ds = tfds.load('huggingface:opus_paracrawl/el-en')

• 설명 :

Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G

• 라이센스 : 알려진 라이센스 없음
• 버전 : 1.0.0
• 분할 :

• 특징 :

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "el",
            "en"
        ],
        "id": null,
        "_type": "Translation"
    }
}

엔하

TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.

ds = tfds.load('huggingface:opus_paracrawl/en-ha')

• 설명 :

Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G

• 라이센스 : 알려진 라이센스 없음
• 버전 : 1.0.0
• 분할 :

• 특징 :

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "ha"
        ],
        "id": null,
        "_type": "Translation"
    }
}

en-ig

TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.

ds = tfds.load('huggingface:opus_paracrawl/en-ig')

• 설명 :

Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G

• 라이센스 : 알려진 라이센스 없음
• 버전 : 1.0.0
• 분할 :

• 특징 :

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "ig"
        ],
        "id": null,
        "_type": "Translation"
    }
}

엔km

TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.

ds = tfds.load('huggingface:opus_paracrawl/en-km')

• 설명 :

Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G

• 라이센스 : 알려진 라이센스 없음
• 버전 : 1.0.0
• 분할 :

• 특징 :

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "km"
        ],
        "id": null,
        "_type": "Translation"
    }
}

그렇군요

TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.

ds = tfds.load('huggingface:opus_paracrawl/en-so')

• 설명 :

Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G

• 라이센스 : 알려진 라이센스 없음
• 버전 : 1.0.0
• 분할 :

• 특징 :

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "so"
        ],
        "id": null,
        "_type": "Translation"
    }
}

de-pl

TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.

ds = tfds.load('huggingface:opus_paracrawl/de-pl')

• 설명 :

Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G

• 라이센스 : 알려진 라이센스 없음
• 버전 : 1.0.0
• 분할 :

• 특징 :

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "pl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

fr-nl

TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.

ds = tfds.load('huggingface:opus_paracrawl/fr-nl')

• 설명 :

Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G

• 라이센스 : 알려진 라이센스 없음
• 버전 : 1.0.0
• 분할 :

• 특징 :

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "fr",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ko-sw

TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.

ds = tfds.load('huggingface:opus_paracrawl/en-sw')

• 설명 :

Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G

• 라이센스 : 알려진 라이센스 없음
• 버전 : 1.0.0
• 분할 :

• 특징 :

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "sw"
        ],
        "id": null,
        "_type": "Translation"
    }
}

en-tl

TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.

ds = tfds.load('huggingface:opus_paracrawl/en-tl')

• 설명 :

Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G

• 라이센스 : 알려진 라이센스 없음
• 버전 : 1.0.0
• 분할 :

• 특징 :

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "tl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ES-GL

TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.

ds = tfds.load('huggingface:opus_paracrawl/es-gl')

• 설명 :

Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G

• 라이센스 : 알려진 라이센스 없음
• 버전 : 1.0.0
• 분할 :

• 특징 :

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "gl"
        ],
        "id": null,
        "_type": "Translation"
    }
}