위키40b

• 설명 :

40개 이상의 Wikipedia 언어 버전의 페이지에 대한 정리 텍스트는 엔터티에 해당합니다. 데이터 세트에는 언어별로 학습/개발/테스트 분할이 있습니다. 데이터 세트는 페이지 필터링을 통해 정리되어 명확성 페이지, 리디렉션 페이지, 삭제된 페이지 및 엔터티가 아닌 페이지를 제거합니다. 각 예에는 엔터티의 위키데이터 ID와 콘텐츠가 아닌 섹션과 구조화된 객체를 제거하는 페이지 처리 후의 전체 위키피디아 기사가 포함되어 있습니다. 41개의 단일 언어 모델과 2개의 다국어 모델을 포함하여 이 코퍼스에서 훈련된 언어 모델은 https://tfhub.dev/google/collections/wiki40b-lm/1 에서 찾을 수 있습니다.

• 추가 문서 : 코드 north_east 가 포함된 논문 탐색

• 홈페이지 : https://research.google/pubs/pub49029/

• 소스 코드 : tfds.text.Wiki40b

• 버전 :

  • 1.3.0 (기본값): 릴리스 노트가 없습니다.

• 다운로드 크기 : Unknown size

• 기능 구조 :

FeaturesDict({
    'text': Text(shape=(), dtype=string),
    'version_id': Text(shape=(), dtype=string),
    'wikidata_id': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 감독되는 키 ( as_supervised doc 참조): None

• 그림 ( tfds.show_examples ): 지원되지 않습니다.

• 인용 :

@inproceedings{49029,
title = {Wiki-40B: Multilingual Language Model Dataset},
author = {Mandy Guo and Zihang Dai and Denny Vrandecic and Rami Al-Rfou},
year = {2020},
booktitle   = {LREC 2020}
}

wiki40b/en (기본 구성)

• 구성 설명 : en용 Wiki40B 데이터 세트

• 데이터세트 크기 : 9.91 GiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/ar

• 구성 설명 : ar에 대한 Wiki40B 데이터 세트입니다.

• 데이터세트 크기 : 833.20 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/zh-cn

• 구성 설명 : zh-cn용 Wiki40B 데이터세트.

• 데이터세트 크기 : 985.53 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/zh-tw

• 구성 설명 : zh-tw에 대한 Wiki40B 데이터 세트입니다.

• 데이터세트 크기 : 986.45 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/nl

• 구성 설명 : nl용 Wiki40B 데이터 세트.

• 데이터세트 크기 : 961.82 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/fr

• 구성 설명 : fr에 대한 Wiki40B 데이터 세트.

• 데이터세트 크기 : 3.37 GiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/de

• 구성 설명 : de에 대한 Wiki40B 데이터 세트입니다.

• 데이터세트 크기 : 4.78 GiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/it

• 구성 설명 : Wiki40B 데이터세트입니다.

• 데이터세트 크기 : 2.00 GiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/ja

• 구성 설명 : ja에 대한 Wiki40B 데이터 세트입니다.

• 데이터세트 크기 : 2.19 GiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/ko

• 구성 설명 : ko에 대한 Wiki40B 데이터 세트입니다.

• 데이터세트 크기 : 453.98 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/pl

• 구성 설명 : pl용 Wiki40B 데이터 세트.

• 데이터세트 크기 : 1.03 GiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/pt

• 구성 설명 : pt에 대한 Wiki40B 데이터 세트.

• 데이터세트 크기 : 1.08 GiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/ru

• 구성 설명 : ru용 Wiki40B 데이터 세트

• 데이터세트 크기 : 4.13 GiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/es

• 구성 설명 : es용 Wiki40B 데이터 세트.

• 데이터세트 크기 : 2.70 GiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/일

• 구성 설명 : th에 대한 Wiki40B 데이터 세트.

• 데이터세트 크기 : 326.29 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/tr

• 구성 설명 : tr에 대한 Wiki40B 데이터 세트.

• 데이터세트 크기 : 308.87 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/bg

• 구성 설명 : bg에 대한 Wiki40B 데이터 세트입니다.

• 데이터세트 크기 : 433.20 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/ca

• 구성 설명 : ca.에 대한 Wiki40B 데이터 세트입니다.

• 데이터세트 크기 : 753.00 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/cs

• 구성 설명 : cs용 Wiki40B 데이터세트입니다.

• 데이터세트 크기 : 631.84 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/다

• 구성 설명 : da에 대한 Wiki40B 데이터 세트입니다.

• 데이터세트 크기 : 240.51 MiB

• 자동 캐시 ( 문서 ): 예(테스트, 검증), shuffle_files=False 인 경우에만(학습)

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/el

• 구성 설명 : el에 대한 Wiki40B 데이터 세트.

• 데이터세트 크기 : 524.77 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/et

• 구성 설명 : et.

• 데이터세트 크기 : 184.07 MiB

• 자동 캐시 ( 문서 ): 예(테스트, 검증), shuffle_files=False 인 경우에만(학습)

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/fa

• 구성 설명 : fa용 Wiki40B 데이터 세트.

• 데이터세트 크기 : 482.55 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/fi

• 구성 설명 : fi용 Wiki40B 데이터세트입니다.

• 데이터세트 크기 : 534.13 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/그

• 구성 설명 : 그에 대한 Wiki40B 데이터 세트입니다.

• 데이터세트 크기 : 869.51 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/안녕하세요

• 구성 설명 : hi에 대한 Wiki40B 데이터 세트입니다.

• 데이터세트 크기 : 277.56 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/시간

• 구성 설명 : hr용 Wiki40B 데이터세트

• 데이터세트 크기 : 235.58 MiB

• 자동 캐시 ( 문서 ): 예(테스트, 검증), shuffle_files=False 인 경우에만(학습)

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/hu

• 구성 설명 : hu에 대한 Wiki40B 데이터 세트입니다.

• 데이터세트 크기 : 634.25 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/id

• 구성 설명 : ID에 대한 Wiki40B 데이터 세트입니다.

• 데이터세트 크기 : 334.06 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/lt

• 구성 설명 : lt.에 대한 Wiki40B 데이터 세트.

• 데이터세트 크기 : 140.46 MiB

• 자동 캐시 ( 문서 ): 예

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/lv

• 구성 설명 : lv.에 대한 Wiki40B 데이터 세트입니다.

• 데이터세트 크기 : 80.07 MiB

• 자동 캐시 ( 문서 ): 예

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/ms

• 구성 설명 : ms용 Wiki40B 데이터 세트입니다.

• 데이터세트 크기 : 142.49 MiB

• 자동 캐시 ( 문서 ): 예(테스트, 검증), shuffle_files=False 인 경우에만(학습)

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/아니요

• 구성 설명 : no.에 대한 Wiki40B 데이터 세트

• 데이터세트 크기 : 382.03 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/ro

• 구성 설명 : ro에 대한 Wiki40B 데이터 세트입니다.

• 데이터세트 크기 : 319.68 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/sk

• 구성 설명 : sk용 Wiki40B 데이터세트

• 데이터세트 크기 : 170.20 MiB

• 자동 캐시 ( 문서 ): 예(테스트, 검증), shuffle_files=False 인 경우에만(학습)

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/sl

• 구성 설명 : sl용 Wiki40B 데이터 세트

• 데이터세트 크기 : 157.38 MiB

• 자동 캐시 ( 문서 ): 예(테스트, 검증), shuffle_files=False 인 경우에만(학습)

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/sr

• 구성 설명 : sr용 Wiki40B 데이터 세트

• 데이터세트 크기 : 582.20 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/sv

• 구성 설명 : sv.에 대한 Wiki40B 데이터 세트입니다.

• 데이터세트 크기 : 613.62 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/tl

• 구성 설명 : tl에 대한 Wiki40B 데이터 세트.

• 데이터세트 크기 : 29.04 MiB

• 자동 캐시 ( 문서 ): 예

• 분할 :

• 예 ( tfds.as_dataframe ):

wiki40b/uk

• 구성 설명 : 영국용 Wiki40B 데이터세트

• 데이터세트 크기 : 1.67 GiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):

위키40b/vi

• 구성 설명 : vi용 Wiki40B 데이터 세트.

• 데이터세트 크기 : 497.70 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 예 ( tfds.as_dataframe ):