ML 커뮤니티 데이는 11월 9일입니다! TensorFlow, JAX에서 업데이트를 우리와 함께, 더 자세히 알아보기

문서 작성

에 기여 들어 tfhub.dev, 마크 다운 형식의 문서를 제공해야합니다. 에 기여 모델의 프로세스의 전체 개요를 tfhub.dev(가) 참조 모델에 기여 가이드.

마크다운 문서 유형

에 사용되는 마크 다운 문서의 3 종류가 있습니다 tfhub.dev:

콘텐츠 구성

에 기여 할 때 다음과 같은 내용의 조직이 필요 TensorFlow 허브 GitHub의의 저장소 :

  • 각 게시자 디렉토리는에 assets/docs 디렉토리
  • 각 게시자 디렉토리는 선택 사항이 포함되어 modelscollections 디렉토리를
  • 각 모델은 아래의 자체 디렉토리가 있어야 assets/docs/<publisher_name>/models
  • 각 컬렉션에서 자신의 디렉토리가 있어야 assets/docs/<publisher_name>/collections

게시자 마크다운은 버전이 지정되지 않은 반면 모델에는 다른 버전이 있을 수 있습니다. 각 모델 버전에는 설명하는 버전(예: 1.md, 2)의 이름을 따서 명명된 별도의 Markdown 파일이 필요합니다. 컬렉션에는 버전이 지정되지만 단일 버전(1)만 지원됩니다.

주어진 모델의 모든 모델 버전은 모델 디렉토리에 있어야 합니다.

다음은 Markdown 콘텐츠가 구성되는 방식에 대한 그림입니다.

assets/docs
├── <publisher_name_a>
│   ├── <publisher_name_a>.md  -> Documentation of the publisher.
│   └── models
│       └── <model_name>       -> Model name with slashes encoded as sub-path.
│           ├── 1.md           -> Documentation of the model version 1.
│           └── 2.md           -> Documentation of the model version 2.
├── <publisher_name_b>
│   ├── <publisher_name_b>.md  -> Documentation of the publisher.
│   ├── models
│   │   └── ...
│   └── collections
│       └── <collection_name>
│           └── 1.md           -> Documentation for the collection.
├── <publisher_name_c>
│   └── ...
└── ...

게시자 마크다운 형식

게시자 문서는 약간의 구문 차이를 제외하고는 모델과 동일한 종류의 마크다운 파일로 선언됩니다.

TensorFlow 허브의 repo에 게시자 파일의 올바른 위치는 다음과 같습니다 tfhub.dev/ 자산 / 문서 / <PUBLISHER_ID> / <publisher_id.md>

"vtab" 게시자에 대한 최소 게시자 문서 예를 참조하세요.

# Publisher vtab
Visual Task Adaptation Benchmark

[![Icon URL]](https://storage.googleapis.com/vtab/vtab_logo_120.png)

## VTAB
The Visual Task Adaptation Benchmark (VTAB) is a diverse, realistic and
challenging benchmark to evaluate image representations.

위의 예는 게시자 ID, 게시자 이름, 사용할 아이콘 경로 및 더 긴 자유 형식 마크다운 문서를 지정합니다. 게시자 ID에는 소문자, 숫자 및 하이픈만 포함되어야 합니다.

게시자 이름 지침

게시자 이름은 GitHub 사용자 이름 또는 관리하는 GitHub 조직의 이름일 수 있습니다.

모델 페이지 마크다운 형식

모델 문서는 일부 추가 기능 구문이 있는 Markdown 파일입니다. 최소한의 예 또는 아래의 예를 참조하십시오 보다 현실적인 예를 마크 다운 파일 .

예제 문서

고품질 모델 문서에는 코드 스니펫, 모델이 학습된 방법 및 사용 용도에 대한 정보가 포함되어 있습니다. 또한 모델 별 메타 데이터 속성의 사용을해야한다 아래에 설명 사용자가 귀하의 모델을 찾을 수 있도록 tfhub.dev 빨리.

# Module google/text-embedding-model/1

Simple one sentence description.

<!-- asset-path: https://path/to/text-embedding-model/model.tar.gz -->
<!-- task: text-embedding -->
<!-- fine-tunable: true -->
<!-- format: saved_model_2 -->

## Overview

Here we give more information about the model including how it was trained,
expected use cases, and code snippets demonstrating how to use the model:

```
Code snippet demonstrating use (e.g. for a TF model using the tensorflow_hub library)

import tensorflow_hub as hub

model = hub.KerasLayer(<model name>)
inputs = ...
output = model(inputs)
```

모델 배포 및 배포 그룹화

tfhub.dev 허용 TF.js 게시하는 TensorFlow SavedModel의 TFLite 산호 배치.

Markdown 파일의 첫 번째 줄은 형식 유형을 지정해야 합니다.

  • # Module publisher/model/version SavedModels에 대한
  • # Tfjs publisher/model/version TF.js 구축을위한
  • # Lite publisher/model/version 라이트 배포
  • # Coral publisher/model/version 산호 배포

이 같은 개념 모델의 서로 다른 형식의 동일한 모델 페이지에 표시하기위한 좋은 아이디어입니다 tfhub.dev. 주어진 TF.js, TFLite 또는 Coral 배포를 TensorFlow SavedModel 모델에 연결하려면 상위 모델 태그를 지정합니다.

<!-- parent-model: publisher/model/version -->

때로는 TensorFlow SavedModel 없이 하나 이상의 배포를 게시하고 싶을 수 있습니다. 이 경우, 당신은 자리 표시 자 모델을 생성하고 그것의 핸들을 지정해야합니다 parent-model 태그입니다. 자리 표시 마크 다운은 첫 번째 줄 것을 제외하고, TensorFlow 모델 마크 다운과 동일하다 : # Placeholder publisher/model/version 과는 필요하지 않습니다 asset-path 속성을.

모델 마크다운 특정 메타데이터 속성

마크다운 파일에는 메타데이터 속성이 포함될 수 있습니다. 이는 사용자가 모델을 찾는 데 도움이 되는 필터 및 태그를 제공하는 데 사용됩니다. 메타데이터 속성은 Markdown 파일에 대한 짧은 설명 뒤에 Markdown 주석으로 포함됩니다.

# Module google/universal-sentence-encoder/1
Encoder of greater-than-word length text trained on a variety of data.

<!-- task: text-embedding -->
...

다음 메타데이터 속성이 지원됩니다.

  • format : TensorFlow 모델의 경우 : 모델의 TensorFlow 허브 형식을. 유효한 값은 hub 모델은 레거시를 통해 내 보낸 경우 TF1 허브 형식 또는 saved_model_2 모델이를 통해 내 보낸 TF2 저장 모델 .
  • asset-path : 실제 모델 자산에 세계 읽을 수있는 원격 경로는 Google Cloud Storage 버킷으로 업로드합니다. URL은 이러한 이유에 대한 robots.txt에 파일 (기준에서 인출 할 수 있어야 지원되지 않습니다이 금지 될 때 "https://github.com/ / 자료 / 다운로드 /.." https : //로 GitHub의 .COM / robots.txt에 ). 참조 아래에 예상되는 파일 형식과 내용에 대한 자세한 내용은.
  • parent-model : TF.js / TFLite / 산호 모델의 경우 : 첨부 SavedModel / 플레이스 홀더의 손잡이
  • fine-tunable : 부울, 모델이 될 수 있는지 여부를 사용자가 미세 조정.
  • task : 문제 영역, 예를 들어, "텍스트 삽입". 지원되는 모든 값에 정의되어 있습니다 task.yaml .
  • dataset : 모델에 훈련 된 데이터 세트, 예를 들어 "위키 피 디아". 지원되는 모든 값에 정의되어 있습니다 dataset.yaml .
  • network-architecture : 모델을 기반으로 네트워크 아키텍처, 예를 들어 "mobilenet-V3". 지원되는 모든 값에 정의되어 있습니다 network_architecture.yaml .
  • language : 텍스트 모델에 훈련 된 언어의 언어 코드, 예 : "엉." 지원되는 모든 값에 정의되어 있습니다 language.yaml .
  • license 다음 예 모델에 적용 라이센스, "MIT"를. 게시 된 모델의 기본 가정 라이센스는 아파치 2.0 라이센스 . 지원되는 모든 값에 정의되어 있습니다 license.yaml . 있습니다 custom 라이센스가 케이스에 의해 특별한 배려 케이스가 필요합니다.
  • colab : HTTPS URL 모델이 사용되거나 (훈련 할 수있는 방법을 보여줍니다 노트북에 에 대한 bigbigan-resnet50을 ). 로 이어질해야 colab.research.google.com . Jupyter 노트북은 GitHub의에서 호스팅하는 것이 주를 통해 액세스 할 수 있습니다 <a href="https://colab.research.google.com/github/ORGANIZATION/PROJECT/">https://colab.research.google.com/github/ORGANIZATION/PROJECT/</a> blob/master/.../my_notebook.ipynb .
  • demo : HTTPS URL입니다 TF.js 모델 (사용할 수있는 방법을 보여주는 웹 사이트에 에 대한 posenet을 ).
  • interactive-visualizer 예를 들어, 모델 페이지에 포함되어야 비주얼의 이름, "비전". 시각화 도우미를 표시하면 사용자가 모델의 예측을 대화식으로 탐색할 수 있습니다. 지원되는 모든 값에 정의되어 있습니다 interactive_visualizer.yaml .

Markdown 문서 유형은 다양한 필수 및 선택적 메타데이터 속성을 지원합니다.

유형 필수의 선택 과목
발행자
수집 직무 데이터세트, 언어, 네트워크 아키텍처
자리 표시자 직무 데이터 세트, 미세 조정 가능, 대화형 시각화 도우미, 언어, 라이선스, 네트워크 아키텍처
저장된 모델 자산 경로, 작업, 미세 조정 가능, 형식 colab, 데이터 세트, 대화형 시각화 도우미, 언어, 라이선스, 네트워크 아키텍처
Tfjs 자산 경로, 상위 모델 colab, 데모, 대화형 시각화 도우미
라이트 자산 경로, 상위 모델 colab, 대화형 시각화 도우미
산호 자산 경로, 상위 모델 colab, 대화형 시각화 도우미

모델별 자산 콘텐츠

모델 유형에 따라 다음과 같은 파일 유형 및 내용이 예상됩니다.

  • SavedModel: 다음과 같은 내용을 포함하는 tar.gz 아카이브:
saved_model.tar.gz
├── assets/            # Optional.
├── assets.extra/      # Optional.
├── variables/
│     ├── variables.data-?????-of-?????
│     └──  variables.index
├── saved_model.pb
├── keras_metadata.pb  # Optional, only required for Keras models.
└── tfhub_module.pb    # Optional, only required for TF1 models.
  • TF.js: 다음과 같은 내용을 포함하는 tar.gz 아카이브:
tf_js_model.tar.gz
├── group*
├── *.json
├── *.txt
└── *.pb
  • TFLite: .tflite 파일
  • 산호: .tflite 파일

tar.gz의 아카이브의 경우 : 디렉토리에서 모델 파일을 가정하고 있습니다 my_model (예 my_model/saved_model.pb SavedModels 나에 대한 my_model/model.json TF.js 모델)을 사용하여 유효한 tar.gz의 아카이브를 만들 수 있습니다 타르 도구를 를 통해 cd my_model && tar -czvf ../model.tar.gz * .

일반적으로 모든 파일과 디렉토리(압축 또는 비압축)는 단어 문자로 시작해야 합니다. 예를 들어 점은 파일 이름/디렉토리의 유효한 접두사가 아닙니다.

컬렉션 페이지 마크다운 형식

컬렉션의 기능입니다 tfhub.dev 사용자 검색 환경을 개선하기 위해 함께 관련 모델을 번들로 출판 할 수 있습니다.

참고 항목 모든 컬렉션의 목록 에tfhub.dev.

저장소에 수집 파일의 올바른 위치 github.com/tensorflow/tfhub.dev 이다 자산 / 문서 / PUBLISHER_NAME> / 모음 / <COLLECTION_NAME> / 1 .md

여기에 자산 / 문서 / vtab / 컬렉션 / 벤치 마크 / 1 .md로 갈 것입니다 최소한의 예입니다. 참고 첫 번째 줄에서 컬렉션의 이름은 포함되지 않습니다 collections/ 파일 경로에 포함 된 일부.

# Collection vtab/benchmark/1
Collection of visual representations that have been evaluated on the VTAB
benchmark.

<!-- task: image-feature-vector -->

## Overview
This is the list of visual representations in TensorFlow Hub that have been
evaluated on VTAB. Results can be seen in
[google-research.github.io/task_adaptation/](https://google-research.github.io/task_adaptation/)

#### Models
|                   |
|-------------------|
| [vtab/sup-100/1](https://tfhub.dev/vtab/sup-100/1)   |
| [vtab/rotation/1](https://tfhub.dev/vtab/rotation/1) |
|------------------------------------------------------|

예제는 컬렉션의 이름, 짧은 한 문장 설명, 문제 도메인 메타데이터 및 자유 형식 마크다운 문서를 지정합니다.