Tworzenie pakietu pip TensorFlow Hub przy użyciu systemu Linux

Jeśli wprowadzisz zmiany w pakiecie pip TensorFlow Hub, prawdopodobnie będziesz chciał przebudować pakiet pip ze źródła, aby wypróbować zmiany.

To wymaga:

  • Pyton
  • Przepływ Tensora
  • Gita
  • Bazel

Alternatywnie, jeśli zainstalujesz kompilator protobuf, możesz wypróbować swoje zmiany bez użycia bazel .

Skonfiguruj wirtualne środowisko

Aktywuj wirtualne środowisko

Zainstaluj virtualenv, jeśli nie jest jeszcze zainstalowany:

~$ sudo apt-get install python-virtualenv

Utwórz wirtualne środowisko do tworzenia pakietów:

~$ virtualenv --system-site-packages tensorflow_hub_env

I aktywuj go:

~$ source ~/tensorflow_hub_env/bin/activate  # bash, sh, ksh, or zsh
~$ source ~/tensorflow_hub_env/bin/activate.csh  # csh or tcsh

Sklonuj repozytorium TensorFlow Hub.

(tensorflow_hub_env)~/$ git clone https://github.com/tensorflow/hub
(tensorflow_hub_env)~/$ cd hub

Przetestuj swoje zmiany

Uruchom testy TensorFlow Hub

(tensorflow_hub_env)~/hub/$ bazel test tensorflow_hub:all

Zbuduj i zainstaluj pakiet

Zbuduj skrypt do pakowania pip TensorFlow Hub

Aby zbudować pakiet pip dla TensorFlow Hub:

(tensorflow_hub_env)~/hub/$ bazel build tensorflow_hub/pip_package:build_pip_package

Utwórz pakiet pip TensorFlow Hub

(tensorflow_hub_env)~/hub/$ bazel-bin/tensorflow_hub/pip_package/build_pip_package \
/tmp/tensorflow_hub_pkg

Zainstaluj i przetestuj pakiet pip (opcjonalnie)

Uruchom następujące polecenia, aby zainstalować pakiet pip.

(tensorflow_hub_env)~/hub/$ pip install /tmp/tensorflow_hub_pkg/*.whl

Test importu TensorFlow Hub:

(tensorflow_hub_env)~/hub/$ cd ..  # exit the directory to avoid confusion
(tensorflow_hub_env)~/$ python -c "import tensorflow_hub as hub"

Instalacja „deweloperska” (eksperymentalna)

Budowanie pakietu za pomocą bazyle jest jedyną oficjalnie obsługiwaną metodą. Jednak jeśli nie znasz bazela, łatwiej jest pracować z narzędziami open source. W tym celu możesz wykonać "instalację programistyczną" pakietu.

Ta metoda instalacji umożliwia zainstalowanie katalogu roboczego w środowisku Pythona, dzięki czemu bieżące zmiany są odzwierciedlane podczas importowania pakietu.

Skonfiguruj repozytorium

Najpierw skonfiguruj virtualenv i repozytorium, jak opisano powyżej .

Zainstaluj protoc

Ponieważ TensorFlow Hub używa protobufów, będziesz potrzebować kompilatora protobuf, aby utworzyć niezbędne pliki Pythona _pb2.py z plików .proto .

Na Macu:

(tensorflow_hub_env)~/hub/$ brew install protobuf

W systemie Linux

(tensorflow_hub_env)~/hub/$ sudo apt install protobuf-compiler

Skompiluj pliki .proto

Początkowo w katalogu nie ma plików _pb2.py :

(tensorflow_hub_env)~/hub/$ ls -1 tensorflow_hub/*_pb2.py

Uruchom protoc , aby je utworzyć:

(tensorflow_hub_env)~/hub/$ protoc -I=tensorflow_hub --python_out=tensorflow_hub tensorflow_hub/*.proto
(tensorflow_hub_env)~/hub/$ ls -1 tensorflow_hub/*_pb2.py
tensorflow_hub/image_module_info_pb2.py
tensorflow_hub/module_attachment_pb2.py
tensorflow_hub/module_def_pb2.py

Importuj bezpośrednio z repozytorium

Mając pliki _pb2.py na miejscu, możesz wypróbować swoje modyfikacje bezpośrednio z katalogu TensorFlow Hub:

(tensorflow_hub_env)~/$ python -c "import tensorflow_hub as hub"

Zainstaluj w trybie "programisty"

Lub, aby użyć tego spoza katalogu głównego repozytorium, możesz użyć instalacji setup.py develop :

(tensorflow_hub_env)~/hub/$ python tensorflow_hub/pip_package/setup.py develop

Teraz możesz używać lokalnych zmian w zwykłym pythonie virtualenv, bez konieczności przebudowywania i instalowania pakietu pip dla każdej nowej zmiany:

(tensorflow_hub_env)~/hub/$ cd ..  # exit the directory to avoid confusion
(tensorflow_hub_env)~/$ python -c "import tensorflow_hub as hub"

Dezaktywuj virtualenv

(tensorflow_hub_env)~/hub/$ deactivate