Ajuda a proteger a Grande Barreira de Corais com TensorFlow em Kaggle Junte Desafio

Usando a interface de linha de comando TFX

A interface de linha de comando (CLI) TFX executa uma gama completa de ações de pipeline usando orquestradores de pipeline, como Kubeflow Pipelines, Vertex Pipelines. O orquestrador local também pode ser usado para desenvolvimento ou depuração mais rápidos. Apache Beam e Apache airflow são suportados como recursos experimentais. Por exemplo, você pode usar a CLI para:

  • Crie, atualize e exclua pipelines.
  • Execute um pipeline e monitore a execução em vários orquestradores.
  • Lista pipelines e execuções de pipeline.

Sobre o TFX CLI

O TFX CLI é instalado como parte do pacote TFX. Todos os comandos CLI seguem a estrutura abaixo:

tfx command-group command flags

As seguintes command-group opções são suportadas atualmente:

  • gasoduto TFX - Criar e gerenciar pipelines TFX.
  • TFX run - Criar e gerenciar corridas de pipelines TFX em várias plataformas de orquestração.
  • TFX template - comandos Experimental para listar e copiar modelos de dutos TFX.

Cada grupo de comando fornece um conjunto de commands . Siga as instruções nos comandos de pipeline , executar comandos e comandos modelo seções para aprender mais sobre como usar esses comandos.

Os sinalizadores permitem que você passe argumentos para os comandos CLI. Palavras em bandeiras são separados com qualquer um hífen ( - ) ou um sublinhado ( _ ). Por exemplo, a bandeira nome oleoduto pode ser especificado como --pipeline-name ou --pipeline_name . Este documento especifica sinalizadores com sublinhados para abreviar. Saiba mais sobre flags utilizadas na TFX CLI .

pipeline tfx

A estrutura de comandos no tfx pipeline grupo de comandos é como segue:

tfx pipeline command required-flags [optional-flags]

Use as seções a seguir para saber mais sobre os comandos do tfx pipeline grupo de comando.

Criar

Cria um novo pipeline no orquestrador fornecido.

Uso:

tfx pipeline create --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace \
--build_image --build_base_image=build-base-image]
--pipeline_path = pipeline-path
O caminho para o arquivo de configuração do pipeline.
--endpoint = endpoint

(Opcional.) Ponto final do serviço Kubeflow Pipelines API. O ponto de extremidade de seu serviço Kubeflow Pipelines API é igual ao URL do painel de Kubeflow Pipelines. Seu valor de endpoint deve ser algo como:

https://host-name/pipeline

Se você não souber o ponto de extremidade do cluster Kubeflow Pipelines, entre em contato com o administrador do cluster.

Se o --endpoint não for especificado, o nome DNS serviço em-cluster é usado como o valor padrão. Este nome só funciona se o comando é executado CLI em um pod no cluster Kubeflow Pipelines, como um Kubeflow Jupyter cadernos instância.

--engine = engine

(Opcional.) O orquestrador a ser usado para o pipeline. O valor do motor deve corresponder a um dos seguintes valores:

  • motor sets a Kubeflow: kubeflow
  • motor sets a orquestrador locais: locais
  • motor sets a Vertex Pipelines: vértice
  • fluxo de ar: (experimental) define motor para Apache Airflow
  • feixe de: (experimental) define motor para Apache feixe

Se o mecanismo não estiver configurado, ele será detectado automaticamente com base no ambiente.

** Observação importante: O orquestrador exigido pelo DagRunner no arquivo de configuração do pipeline deve corresponder ao mecanismo selecionado ou detectado automaticamente. A detecção automática do mecanismo é baseada no ambiente do usuário. Se o Apache Airflow e o Kubeflow Pipelines não estiverem instalados, o orquestrador local será usado por padrão.

--iap_client_id = iap-client-id
(Opcional.) ID do cliente para endpoint protegido por IAP ao usar Kubeflow Pipelines.
--namespace = namespace
(Opcional.) Namespace do Kubernetes para se conectar à API Kubeflow Pipelines. Se o namespace não for especificado, o valor padrão para kubeflow .
--build_image

(Opcional). Quando o engine é kubeflow ou vértice, TFX cria um recipiente por seu pipeline se especificado. Será usado `Dockerfile` no diretório atual e o TFX irá gerar um automaticamente se não existir.

A imagem construída será enviada para o registro remoto que é especificado em `KubeflowDagRunnerConfig` ou` KubeflowV2DagRunnerConfig`.

--build_base_image = build-base-image

(Opcional). Quando o engine é kubeflow, TFX cria um recipiente por seu pipeline. A imagem de base de construção especifica a imagem de contêiner de base a ser usada ao construir a imagem de contêiner de pipeline.

Exemplos:

Kubeflow:

tfx pipeline create --engine=kubeflow --pipeline_path=pipeline-path \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \
--build_image

Local:

tfx pipeline create --engine=local --pipeline_path=pipeline-path

Vértice:

tfx pipeline create --engine=vertex --pipeline_path=pipeline-path \
--build_image

Para detectar automaticamente o mecanismo do ambiente do usuário, simplesmente evite usar o sinalizador do mecanismo como no exemplo abaixo. Para mais detalhes, verifique a seção de sinalizadores.

tfx pipeline create --pipeline_path=pipeline-path

atualizar

Atualiza um pipeline existente no orquestrador fornecido.

Uso:

tfx pipeline update --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace --build_image]
--pipeline_path = pipeline-path
O caminho para o arquivo de configuração do pipeline.
--endpoint = endpoint

(Opcional.) Ponto final do serviço Kubeflow Pipelines API. O ponto de extremidade de seu serviço Kubeflow Pipelines API é igual ao URL do painel de Kubeflow Pipelines. Seu valor de endpoint deve ser algo como:

https://host-name/pipeline

Se você não souber o ponto de extremidade do cluster Kubeflow Pipelines, entre em contato com o administrador do cluster.

Se o --endpoint não for especificado, o nome DNS serviço em-cluster é usado como o valor padrão. Este nome só funciona se o comando é executado CLI em um pod no cluster Kubeflow Pipelines, como um Kubeflow Jupyter cadernos instância.

--engine = engine

(Opcional.) O orquestrador a ser usado para o pipeline. O valor do motor deve corresponder a um dos seguintes valores:

  • motor sets a Kubeflow: kubeflow
  • motor sets a orquestrador locais: locais
  • motor sets a Vertex Pipelines: vértice
  • fluxo de ar: (experimental) define motor para Apache Airflow
  • feixe de: (experimental) define motor para Apache feixe

Se o mecanismo não estiver configurado, ele será detectado automaticamente com base no ambiente.

** Observação importante: O orquestrador exigido pelo DagRunner no arquivo de configuração do pipeline deve corresponder ao mecanismo selecionado ou detectado automaticamente. A detecção automática do mecanismo é baseada no ambiente do usuário. Se o Apache Airflow e o Kubeflow Pipelines não estiverem instalados, o orquestrador local será usado por padrão.

--iap_client_id = iap-client-id
(Opcional.) ID do cliente para endpoint protegido por IAP.
--namespace = namespace
(Opcional.) Namespace do Kubernetes para se conectar à API Kubeflow Pipelines. Se o namespace não for especificado, o valor padrão para kubeflow .
--build_image

(Opcional). Quando o engine é kubeflow ou vértice, TFX cria um recipiente por seu pipeline se especificado. Será usado `Dockerfile` no diretório atual.

A imagem construída será enviada para o registro remoto que é especificado em `KubeflowDagRunnerConfig` ou` KubeflowV2DagRunnerConfig`.

Exemplos:

Kubeflow:

tfx pipeline update --engine=kubeflow --pipeline_path=pipeline-path \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \
--build_image

Local:

tfx pipeline update --engine=local --pipeline_path=pipeline-path

Vértice:

tfx pipeline update --engine=vertex --pipeline_path=pipeline-path \
--build_image

compilar

Compila o arquivo de configuração do pipeline para criar um arquivo de fluxo de trabalho no Kubeflow e executa as seguintes verificações durante a compilação:

  1. Verifica se o caminho do pipeline é válido.
  2. Verifica se os detalhes do pipeline foram extraídos com êxito do arquivo de configuração do pipeline.
  3. Verifica se o DagRunner na configuração do pipeline corresponde ao motor.
  4. Verifica se o arquivo de fluxo de trabalho foi criado com sucesso no caminho do pacote fornecido (apenas para Kubeflow).

Recomendado para usar antes de criar ou atualizar um pipeline.

Uso:

tfx pipeline compile --pipeline_path=pipeline-path [--engine=engine]
--pipeline_path = pipeline-path
O caminho para o arquivo de configuração do pipeline.
--engine = engine

(Opcional.) O orquestrador a ser usado para o pipeline. O valor do motor deve corresponder a um dos seguintes valores:

  • motor sets a Kubeflow: kubeflow
  • motor sets a orquestrador locais: locais
  • motor sets a Vertex Pipelines: vértice
  • fluxo de ar: (experimental) define motor para Apache Airflow
  • feixe de: (experimental) define motor para Apache feixe

Se o mecanismo não estiver configurado, ele será detectado automaticamente com base no ambiente.

** Observação importante: O orquestrador exigido pelo DagRunner no arquivo de configuração do pipeline deve corresponder ao mecanismo selecionado ou detectado automaticamente. A detecção automática do mecanismo é baseada no ambiente do usuário. Se o Apache Airflow e o Kubeflow Pipelines não estiverem instalados, o orquestrador local será usado por padrão.

Exemplos:

Kubeflow:

tfx pipeline compile --engine=kubeflow --pipeline_path=pipeline-path

Local:

tfx pipeline compile --engine=local --pipeline_path=pipeline-path

Vértice:

tfx pipeline compile --engine=vertex --pipeline_path=pipeline-path

excluir

Exclui um pipeline do orquestrador fornecido.

Uso:

tfx pipeline delete --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]
--pipeline_path = pipeline-path
O caminho para o arquivo de configuração do pipeline.
--endpoint = endpoint

(Opcional.) Ponto final do serviço Kubeflow Pipelines API. O ponto de extremidade de seu serviço Kubeflow Pipelines API é igual ao URL do painel de Kubeflow Pipelines. Seu valor de endpoint deve ser algo como:

https://host-name/pipeline

Se você não souber o ponto de extremidade do cluster Kubeflow Pipelines, entre em contato com o administrador do cluster.

Se o --endpoint não for especificado, o nome DNS serviço em-cluster é usado como o valor padrão. Este nome só funciona se o comando é executado CLI em um pod no cluster Kubeflow Pipelines, como um Kubeflow Jupyter cadernos instância.

--engine = engine

(Opcional.) O orquestrador a ser usado para o pipeline. O valor do motor deve corresponder a um dos seguintes valores:

  • motor sets a Kubeflow: kubeflow
  • motor sets a orquestrador locais: locais
  • motor sets a Vertex Pipelines: vértice
  • fluxo de ar: (experimental) define motor para Apache Airflow
  • feixe de: (experimental) define motor para Apache feixe

Se o mecanismo não estiver configurado, ele será detectado automaticamente com base no ambiente.

** Observação importante: O orquestrador exigido pelo DagRunner no arquivo de configuração do pipeline deve corresponder ao mecanismo selecionado ou detectado automaticamente. A detecção automática do mecanismo é baseada no ambiente do usuário. Se o Apache Airflow e o Kubeflow Pipelines não estiverem instalados, o orquestrador local será usado por padrão.

--iap_client_id = iap-client-id
(Opcional.) ID do cliente para endpoint protegido por IAP.
--namespace = namespace
(Opcional.) Namespace do Kubernetes para se conectar à API Kubeflow Pipelines. Se o namespace não for especificado, o valor padrão para kubeflow .

Exemplos:

Kubeflow:

tfx pipeline delete --engine=kubeflow --pipeline_name=pipeline-name \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint

Local:

tfx pipeline delete --engine=local --pipeline_name=pipeline-name

Vértice:

tfx pipeline delete --engine=vertex --pipeline_name=pipeline-name

Lista

Lista todos os pipelines no orquestrador fornecido.

Uso:

tfx pipeline list [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]
--endpoint = endpoint

(Opcional.) Ponto final do serviço Kubeflow Pipelines API. O ponto de extremidade de seu serviço Kubeflow Pipelines API é o mesmo que o URL do painel de Kubeflow Pipelines. Seu valor de endpoint deve ser algo como:

https://host-name/pipeline

Se você não souber o ponto de extremidade do cluster Kubeflow Pipelines, entre em contato com o administrador do cluster.

Se o --endpoint não for especificado, o nome DNS serviço em-cluster é usado como o valor padrão. Este nome só funciona se o comando é executado CLI em um pod no cluster Kubeflow Pipelines, como um Kubeflow Jupyter cadernos instância.

--engine = engine

(Opcional.) O orquestrador a ser usado para o pipeline. O valor do motor deve corresponder a um dos seguintes valores:

  • motor sets a Kubeflow: kubeflow
  • motor sets a orquestrador locais: locais
  • motor sets a Vertex Pipelines: vértice
  • fluxo de ar: (experimental) define motor para Apache Airflow
  • feixe de: (experimental) define motor para Apache feixe

Se o mecanismo não estiver configurado, ele será detectado automaticamente com base no ambiente.

** Nota importante: O orquestrador exigido pelo DagRunner no arquivo de configuração do pipeline deve corresponder ao mecanismo selecionado ou detectado automaticamente. A detecção automática do mecanismo é baseada no ambiente do usuário. Se o Apache Airflow e o Kubeflow Pipelines não estiverem instalados, o orquestrador local será usado por padrão.

--iap_client_id = iap-client-id
(Opcional.) ID do cliente para endpoint protegido por IAP.
--namespace = namespace
(Opcional.) Namespace do Kubernetes para se conectar à API Kubeflow Pipelines. Se o namespace não for especificado, o valor padrão para kubeflow .

Exemplos:

Kubeflow:

tfx pipeline list --engine=kubeflow --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

Local:

tfx pipeline list --engine=local

Vértice:

tfx pipeline list --engine=vertex

tfx run

A estrutura de comandos no tfx run grupo de comandos é como segue:

tfx run command required-flags [optional-flags]

Use as seções a seguir para saber mais sobre os comandos do tfx run grupo de comando.

Criar

Cria uma nova instância de execução para um pipeline no orquestrador. Para Kubeflow, a versão de pipeline mais recente do pipeline no cluster é usada.

Uso:

tfx run create --pipeline_name=pipeline-name [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]
--pipeline_name = pipeline-name
O nome do pipeline.
--endpoint = endpoint

(Opcional.) Ponto final do serviço Kubeflow Pipelines API. O ponto de extremidade de seu serviço Kubeflow Pipelines API é igual ao URL do painel de Kubeflow Pipelines. Seu valor de endpoint deve ser algo como:

https://host-name/pipeline

Se você não souber o ponto de extremidade do cluster Kubeflow Pipelines, entre em contato com o administrador do cluster.

Se o --endpoint não for especificado, o nome DNS serviço em-cluster é usado como o valor padrão. Este nome só funciona se o comando é executado CLI em um pod no cluster Kubeflow Pipelines, como um Kubeflow Jupyter cadernos instância.

--engine = engine

(Opcional.) O orquestrador a ser usado para o pipeline. O valor do motor deve corresponder a um dos seguintes valores:

  • motor sets a Kubeflow: kubeflow
  • motor sets a orquestrador locais: locais
  • motor sets a Vertex Pipelines: vértice
  • fluxo de ar: (experimental) define motor para Apache Airflow
  • feixe de: (experimental) define motor para Apache feixe

Se o mecanismo não estiver configurado, ele será detectado automaticamente com base no ambiente.

** Observação importante: O orquestrador exigido pelo DagRunner no arquivo de configuração do pipeline deve corresponder ao mecanismo selecionado ou detectado automaticamente. A detecção automática do mecanismo é baseada no ambiente do usuário. Se o Apache Airflow e o Kubeflow Pipelines não estiverem instalados, o orquestrador local será usado por padrão.

--runtime_parameter = parameter-name = parameter-value
(Opcional.) Define um valor de parâmetro de tempo de execução. Pode ser definido várias vezes para definir valores de várias variáveis. Aplicável apenas ao mecanismo `airflow`,` kubeflow` e `vertex`.
--iap_client_id = iap-client-id
(Opcional.) ID do cliente para endpoint protegido por IAP.
--namespace = namespace
(Opcional.) Namespace do Kubernetes para se conectar à API Kubeflow Pipelines. Se o namespace não for especificado, o valor padrão para kubeflow .
--project = GCP-project-id
(Obrigatório para Vertex.) ID do projeto GCP para o pipeline de vértice.
--region = GCP-region
(Obrigatório para Vertex.) Nome da região do GCP como us-central1. Consulte a [documentação do Vertex] (https://cloud.google.com/vertex-ai/docs/general/locations) para as regiões disponíveis.

Exemplos:

Kubeflow:

tfx run create --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

Local:

tfx run create --engine=local --pipeline_name=pipeline-name

Vértice:

tfx run create --engine=vertex --pipeline_name=pipeline-name \
  --runtime_parameter=var_name=var_value \
  --project=gcp-project-id --region=gcp-region

terminar

Interrompe a execução de um determinado pipeline.

** Observação importante: atualmente compatível apenas com Kubeflow.

Uso:

tfx run terminate --run_id=run-id [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]
--run_id = run-id
Identificador exclusivo para uma execução de pipeline.
--endpoint = endpoint

(Opcional.) Ponto final do serviço Kubeflow Pipelines API. O ponto de extremidade de seu serviço Kubeflow Pipelines API é igual ao URL do painel de Kubeflow Pipelines. Seu valor de endpoint deve ser algo como:

https://host-name/pipeline

Se você não souber o ponto de extremidade do cluster Kubeflow Pipelines, entre em contato com o administrador do cluster.

Se o --endpoint não for especificado, o nome DNS serviço em-cluster é usado como o valor padrão. Este nome só funciona se o comando é executado CLI em um pod no cluster Kubeflow Pipelines, como um Kubeflow Jupyter cadernos instância.

--engine = engine

(Opcional.) O orquestrador a ser usado para o pipeline. O valor do motor deve corresponder a um dos seguintes valores:

  • motor sets a Kubeflow: kubeflow

Se o mecanismo não estiver configurado, ele será detectado automaticamente com base no ambiente.

** Observação importante: O orquestrador exigido pelo DagRunner no arquivo de configuração do pipeline deve corresponder ao mecanismo selecionado ou detectado automaticamente. A detecção automática do mecanismo é baseada no ambiente do usuário. Se o Apache Airflow e o Kubeflow Pipelines não estiverem instalados, o orquestrador local será usado por padrão.

--iap_client_id = iap-client-id
(Opcional.) ID do cliente para endpoint protegido por IAP.
--namespace = namespace
(Opcional.) Namespace do Kubernetes para se conectar à API Kubeflow Pipelines. Se o namespace não for especificado, o valor padrão para kubeflow .

Exemplos:

Kubeflow:

tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

Lista

Lista todas as execuções de um pipeline.

** Nota importante: Atualmente não é compatível com Local e Apache Beam.

Uso:

tfx run list --pipeline_name=pipeline-name [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]
--pipeline_name = pipeline-name
O nome do pipeline.
--endpoint = endpoint

(Opcional.) Ponto final do serviço Kubeflow Pipelines API. O ponto de extremidade de seu serviço Kubeflow Pipelines API é igual ao URL do painel de Kubeflow Pipelines. Seu valor de endpoint deve ser algo como:

https://host-name/pipeline

Se você não souber o ponto de extremidade do seu cluster Kubeflow Pipelines, entre em contato com o administrador do cluster.

Se o --endpoint não for especificado, o nome DNS serviço em-cluster é usado como o valor padrão. Este nome só funciona se o comando é executado CLI em um pod no cluster Kubeflow Pipelines, como um Kubeflow Jupyter cadernos instância.

--engine = engine

(Opcional.) O orquestrador a ser usado para o pipeline. O valor do motor deve corresponder a um dos seguintes valores:

  • motor sets a Kubeflow: kubeflow
  • fluxo de ar: (experimental) define motor para Apache Airflow

Se o mecanismo não estiver configurado, ele será detectado automaticamente com base no ambiente.

** Observação importante: O orquestrador exigido pelo DagRunner no arquivo de configuração do pipeline deve corresponder ao mecanismo selecionado ou detectado automaticamente. A detecção automática do mecanismo é baseada no ambiente do usuário. Se o Apache Airflow e o Kubeflow Pipelines não estiverem instalados, o orquestrador local será usado por padrão.

--iap_client_id = iap-client-id
(Opcional.) ID do cliente para endpoint protegido por IAP.
--namespace = namespace
(Opcional.) Namespace do Kubernetes para se conectar à API Kubeflow Pipelines. Se o namespace não for especificado, o valor padrão para kubeflow .

Exemplos:

Kubeflow:

tfx run list --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

status

Retorna o status atual de uma execução.

** Nota importante: Atualmente não é compatível com Local e Apache Beam.

Uso:

tfx run status --pipeline_name=pipeline-name --run_id=run-id [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]
--pipeline_name = pipeline-name
O nome do pipeline.
--run_id = run-id
Identificador exclusivo para uma execução de pipeline.
--endpoint = endpoint

(Opcional.) Ponto final do serviço Kubeflow Pipelines API. O ponto de extremidade de seu serviço Kubeflow Pipelines API é igual ao URL do painel de Kubeflow Pipelines. Seu valor de endpoint deve ser algo como:

https://host-name/pipeline

Se você não souber o ponto de extremidade do cluster Kubeflow Pipelines, entre em contato com o administrador do cluster.

Se o --endpoint não for especificado, o nome DNS serviço em-cluster é usado como o valor padrão. Este nome só funciona se o comando é executado CLI em um pod no cluster Kubeflow Pipelines, como um Kubeflow Jupyter cadernos instância.

--engine = engine

(Opcional.) O orquestrador a ser usado para o pipeline. O valor do motor deve corresponder a um dos seguintes valores:

  • motor sets a Kubeflow: kubeflow
  • fluxo de ar: (experimental) define motor para Apache Airflow

Se o mecanismo não estiver configurado, ele será detectado automaticamente com base no ambiente.

** Observação importante: O orquestrador exigido pelo DagRunner no arquivo de configuração do pipeline deve corresponder ao mecanismo selecionado ou detectado automaticamente. A detecção automática do mecanismo é baseada no ambiente do usuário. Se o Apache Airflow e o Kubeflow Pipelines não estiverem instalados, o orquestrador local será usado por padrão.

--iap_client_id = iap-client-id
(Opcional.) ID do cliente para endpoint protegido por IAP.
--namespace = namespace
(Opcional.) Namespace do Kubernetes para se conectar à API Kubeflow Pipelines. Se o namespace não for especificado, o valor padrão para kubeflow .

Exemplos:

Kubeflow:

tfx run status --engine=kubeflow --run_id=run-id --pipeline_name=pipeline-name \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint

excluir

Exclui uma execução de um determinado pipeline.

** Observação importante: atualmente compatível apenas com Kubeflow

Uso:

tfx run delete --run_id=run-id [--engine=engine --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint]
--run_id = run-id
Identificador exclusivo para uma execução de pipeline.
--endpoint = endpoint

(Opcional.) Ponto final do serviço Kubeflow Pipelines API. O ponto de extremidade de seu serviço Kubeflow Pipelines API é igual ao URL do painel de Kubeflow Pipelines. Seu valor de endpoint deve ser algo como:

https://host-name/pipeline

Se você não souber o ponto de extremidade do cluster Kubeflow Pipelines, entre em contato com o administrador do cluster.

Se o --endpoint não for especificado, o nome DNS serviço em-cluster é usado como o valor padrão. Este nome só funciona se o comando é executado CLI em um pod no cluster Kubeflow Pipelines, como um Kubeflow Jupyter cadernos instância.

--engine = engine

(Opcional.) O orquestrador a ser usado para o pipeline. O valor do motor deve corresponder a um dos seguintes valores:

  • motor sets a Kubeflow: kubeflow

Se o mecanismo não estiver configurado, ele será detectado automaticamente com base no ambiente.

** Observação importante: O orquestrador exigido pelo DagRunner no arquivo de configuração do pipeline deve corresponder ao mecanismo selecionado ou detectado automaticamente. A detecção automática do mecanismo é baseada no ambiente do usuário. Se o Apache Airflow e o Kubeflow Pipelines não estiverem instalados, o orquestrador local será usado por padrão.

--iap_client_id = iap-client-id
(Opcional.) ID do cliente para endpoint protegido por IAP.
--namespace = namespace
(Opcional.) Namespace do Kubernetes para se conectar à API Kubeflow Pipelines. Se o namespace não for especificado, o valor padrão para kubeflow .

Exemplos:

Kubeflow:

tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

modelo tfx [Experimental]

A estrutura de comandos no tfx template grupo de comandos é como segue:

tfx template command required-flags [optional-flags]

Use as seções a seguir para saber mais sobre os comandos no tfx template grupo de comando. O modelo é um recurso experimental e está sujeito a alterações a qualquer momento.

Lista

Lista os modelos de pipeline TFX disponíveis.

Uso:

tfx template list

cópia de

Copie um modelo para o diretório de destino.

Uso:

tfx template copy --model=model --pipeline_name=pipeline-name \
--destination_path=destination-path
--model = model
O nome do modelo construído pelo modelo de pipeline.
--pipeline_name = pipeline-name
O nome do pipeline.
--destination_path = destination-path
O caminho para o qual copiar o modelo.

Compreendendo os sinalizadores TFX CLI

Bandeiras comuns

--engine = engine

O orquestrador a ser usado para o pipeline. O valor do motor deve corresponder a um dos seguintes valores:

  • motor sets a Kubeflow: kubeflow
  • motor sets a orquestrador locais: locais
  • motor sets a Vertex Pipelines: vértice
  • fluxo de ar: (experimental) define motor para Apache Airflow
  • feixe de: (experimental) define motor para Apache feixe

Se o mecanismo não estiver configurado, ele será detectado automaticamente com base no ambiente.

** Observação importante: O orquestrador exigido pelo DagRunner no arquivo de configuração do pipeline deve corresponder ao mecanismo selecionado ou detectado automaticamente. A detecção automática do mecanismo é baseada no ambiente do usuário. Se o Apache Airflow e o Kubeflow Pipelines não estiverem instalados, o orquestrador local será usado por padrão.

--pipeline_name = pipeline-name
O nome do pipeline.
--pipeline_path = pipeline-path
O caminho para o arquivo de configuração do pipeline.
--run_id = run-id
Identificador exclusivo para uma execução de pipeline.

Sinalizadores específicos de Kubeflow

--endpoint = endpoint

Ponto final do serviço Kubeflow Pipelines API. O ponto de extremidade de seu serviço Kubeflow Pipelines API é igual ao URL do painel de Kubeflow Pipelines. Seu valor de endpoint deve ser algo como:

https://host-name/pipeline

Se você não souber o ponto de extremidade do cluster Kubeflow Pipelines, entre em contato com o administrador do cluster.

Se o --endpoint não for especificado, o nome DNS serviço em-cluster é usado como o valor padrão. Este nome só funciona se o comando é executado CLI em um pod no cluster Kubeflow Pipelines, como um Kubeflow Jupyter cadernos instância.

--iap_client_id = iap-client-id
ID do cliente para endpoint protegido por IAP.
--namespace = namespace
Namespace do Kubernetes para se conectar à API Kubeflow Pipelines. Se o namespace não for especificado, o valor padrão para kubeflow .

Arquivos gerados por TFX CLI

Quando pipelines são criados e executados, vários arquivos são gerados para gerenciamento de pipeline.

  • $ {HOME} / tfx / local, feixe, fluxo de ar, vértice
    • Pipeline metadados lidos a partir da configuração é armazenada sob ${HOME}/tfx/${ORCHESTRATION_ENGINE}/${PIPELINE_NAME} . Esta localização pode ser personalizado, definindo ambiente varaible como AIRFLOW_HOME ou KUBEFLOW_HOME . Este comportamento pode ser alterado em versões futuras. Este diretório é usado para armazenar informações de pipeline, incluindo ids de pipeline no cluster Kubeflow Pipelines, que é necessário para criar execuções ou atualizar pipelines.
    • Antes TFX 0,25, esses arquivos foram localizados sob ${HOME}/${ORCHESTRATION_ENGINE} . No TFX 0.25, os arquivos no local antigo serão movidos para o novo local automaticamente para uma migração tranquila.
    • A partir do TFX 0.27, o kubeflow não cria esses arquivos de metadados no sistema de arquivos local. No entanto, veja abaixo outros arquivos que o kubeflow cria.
  • (Somente Kubeflow) Dockerfile e uma imagem de contêiner
    • Pipelines de Kubeflow requer dois tipos de entrada para um pipeline. Esses arquivos são gerados pelo TFX no diretório atual.
    • Uma é uma imagem de contêiner que será usada para executar componentes no pipeline. Esta imagem recipiente é construído quando um gasoduto para Kubeflow Pipelines é criado ou atualizado com --build-image bandeira. TFX CLI irá gerar Dockerfile se não existe, e vai construir e empurrar imagem de um recipiente para o registo especificado em KubeflowDagRunnerConfig.