Esta página foi traduzida pela API Cloud Translation.
Switch to English

Instalação

Instalando ModelServer

Instalando usando Docker

A maneira mais fácil e direta de usar o TensorFlow Serving é com imagens Docker . Recomendamos fortemente essa rota, a menos que você tenha necessidades específicas que não sejam atendidas pela execução em um contêiner.

DICA: essa também é a maneira mais fácil de fazer o TensorFlow Serving funcionar com suporte de GPU .

Instalando usando APT

Binários disponíveis

O binário TensorFlow Serving ModelServer está disponível em duas variantes:

tensorflow-model-server : servidor totalmente otimizado que usa algumas otimizações de compilador específicas da plataforma, como instruções SSE4 e AVX. Esta deve ser a opção preferida para a maioria dos usuários, mas pode não funcionar em algumas máquinas mais antigas.

tensorflow-model-server-universal : Compilado com otimizações básicas, mas não inclui conjuntos de instruções específicas da plataforma, então deve funcionar na maioria, senão em todas as máquinas. Use isto se tensorflow-model-server não funcionar para você. Observe que o nome binário é o mesmo para ambos os pacotes, então se você já instalou tensorflow-model-server, você deve primeiro desinstalá-lo usando

apt-get remove tensorflow-model-server

Instalação

  1. Adicionar URI de distribuição do TensorFlow Serving como uma fonte de pacote (configuração única)

    echo "deb [arch=amd64] http://storage.googleapis.com/tensorflow-serving-apt stable tensorflow-model-server tensorflow-model-server-universal" | sudo tee /etc/apt/sources.list.d/tensorflow-serving.list && \
    curl https://storage.googleapis.com/tensorflow-serving-apt/tensorflow-serving.release.pub.gpg | sudo apt-key add -
    
  2. Instale e atualize o TensorFlow ModelServer

    apt-get update && apt-get install tensorflow-model-server
    

Uma vez instalado, o binário pode ser invocado usando o comando tensorflow_model_server .

Você pode atualizar para uma versão mais recente do tensorflow-model-server com:

apt-get upgrade tensorflow-model-server

Construindo da fonte

A abordagem recomendada para construir a partir da origem é usar o Docker. As imagens de desenvolvimento do TensorFlow Serving Docker encapsulam todas as dependências de que você precisa para criar sua própria versão do TensorFlow Serving.

Para obter uma lista de quais são essas dependências, consulte TensorFlow Serving Development Dockerfiles [ CPU , GPU ].

Instalando Docker

As instruções gerais de instalação estão no site do Docker .

Clone o script de construção

Depois de instalar o Docker, precisamos obter a fonte a partir da qual queremos construir. Usaremos o Git para clonar o branch master do TensorFlow Serving:

git clone https://github.com/tensorflow/serving.git
cd serving

Construir

Para construir em um ambiente hermético com todas as dependências cuidadas, usaremos o script run_in_docker.sh . Este script passa os comandos de construção para um contêiner do Docker. Por padrão, o script será construído com a última imagem de desenvolvimento noturno do Docker.

O TensorFlow Serving usa o Bazel como ferramenta de criação. Você pode usar comandos do Bazel para criar destinos individuais ou a árvore de origem inteira.

Para construir a árvore inteira, execute:

tools/run_in_docker.sh bazel build -c opt tensorflow_serving/...

Os binários são colocados no diretório bazel-bin e podem ser executados usando um comando como:

bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server

Para testar sua construção, execute:

tools/run_in_docker.sh bazel test -c opt tensorflow_serving/...

Consulte o tutorial básico e o tutorial avançado para exemplos mais detalhados de como executar o TensorFlow Serving.

Criação de versões específicas do TensorFlow Serving

Se você deseja construir a partir de um branch específico (como um branch de lançamento), passe -b <branchname> para o comando git clone .

Também queremos combinar o ambiente de construção para esse branch de código, passando o script run_in_docker.sh a imagem de desenvolvimento do Docker que gostaríamos de usar.

Por exemplo, para construir a versão 1.10 do TensorFlow Serving:

$ git clone -b r1.10 https://github.com/tensorflow/serving.git
...
$ cd serving
$ tools/run_in_docker.sh -d tensorflow/serving:1.10-devel \
  bazel build tensorflow_serving/...
...
Compilação otimizada

Se desejar aplicar otimizações geralmente recomendadas, incluindo a utilização de conjuntos de instruções específicas da plataforma para o seu processador, você pode adicionar --config=nativeopt aos comandos de compilação do Bazel ao construir o TensorFlow Serving.

Por exemplo:

tools/run_in_docker.sh bazel build --config=nativeopt tensorflow_serving/...

Também é possível compilar usando conjuntos de instruções específicas (por exemplo, AVX). Sempre que você bazel build na documentação, basta adicionar as sinalizações correspondentes:

Conjunto de instruções Bandeiras
AVX --copt=-mavx
AVX2 --copt=-mavx2
FMA --copt=-mfma
SSE 4.1 --copt=-msse4.1
SSE 4.2 --copt=-msse4.2
Todos suportados pelo processador --copt=-march=native

Por exemplo:

tools/run_in_docker.sh bazel build --copt=-mavx2 tensorflow_serving/...
Construindo com suporte de GPU

Para criar uma versão personalizada do TensorFlow Serving com suporte para GPU, recomendamos criar com as imagens Docker fornecidas ou seguir a abordagem no Dockerfile da GPU .

Pacote PIP da API TensorFlow Serving Python

Para executar o código do cliente Python sem a necessidade de construir a API, você pode instalar o pacote PIP tensorflow-serving-api usando:

pip install tensorflow-serving-api