 Ver en TensorFlow.org |  Ejecutar en Google Colab |  Ver en GitHub |  Descargar cuaderno |  Ejecutar en Kaggle |
TensorFlow Cloud es una biblioteca que facilita el entrenamiento y el ajuste de hiperparámetros de los modelos Keras en Google Cloud.
Con la API de run de TensorFlow Cloud, puede enviar el código de su modelo directamente a su cuenta de Google Cloud y usar los recursos informáticos de Google Cloud sin necesidad de iniciar sesión e interactuar con la interfaz de usuario de Cloud (una vez que haya configurado su proyecto en la consola).
Esto significa que puedes usar tus recursos informáticos de Google Cloud directamente desde una libreta de Python: ¡una libreta como esta! También puedes enviar modelos a Google Cloud desde un script Python .py simple.
Ejemplo sencillo
Este es un ejemplo introductorio simple para demostrar cómo entrenar un modelo de forma remota usando TensorFlow Cloud y Google Cloud.
Puede simplemente leerlo para tener una idea de cómo funciona, o puede ejecutar el cuaderno en Google Colab. Para ejecutar el portátil es necesario conectarse a una cuenta de Google Cloud e ingresar sus credenciales y el ID del proyecto. Consulte Configuración y conexión a su cuenta de Google Cloud si aún no tiene una cuenta o no está seguro de cómo configurar un proyecto en la consola.
Importar módulos requeridos
import tensorflow as tf
tf.version.VERSION
'2.6.0'
! pip install -q tensorflow-cloud
import tensorflow_cloud as tfc
print(tfc.__version__)
import sys
Configuraciones de proyecto
Establecer los parámetros del proyecto. Si no sabes cuál debería ser tu GCP_PROJECT_ID o GCS_BUCKET , consulta Configuración y conexión a tu cuenta de Google Cloud .
JOB_NAME es opcional y puede configurarlo en cualquier cadena. Si está realizando varios experimentos de capacitación (por ejemplo) como parte de un proyecto más grande, es posible que desee darle a cada uno de ellos un JOB_NAME único.
# Set Google Cloud Specific parameters
# TODO: Please set GCP_PROJECT_ID to your own Google Cloud project ID.
GCP_PROJECT_ID = 'YOUR_PROJECT_ID'
# TODO: set GCS_BUCKET to your own Google Cloud Storage (GCS) bucket.
GCS_BUCKET = 'YOUR_GCS_BUCKET_NAME'
# DO NOT CHANGE: Currently only the 'us-central1' region is supported.
REGION = 'us-central1'
# OPTIONAL: You can change the job name to any string.
JOB_NAME = 'mnist'
# Setting location were training logs and checkpoints will be stored
GCS_BASE_PATH = f'gs://{GCS_BUCKET}/{JOB_NAME}'
TENSORBOARD_LOGS_DIR = os.path.join(GCS_BASE_PATH,"logs")
MODEL_CHECKPOINT_DIR = os.path.join(GCS_BASE_PATH,"checkpoints")
SAVED_MODEL_DIR = os.path.join(GCS_BASE_PATH,"saved_model")
Autenticar el cuaderno para usar su proyecto Google Cloud
Este código autentica el cuaderno y verifica su identidad y credenciales válidas de Google Cloud. Está dentro del bloque if not tfc.remote() para garantizar que solo se ejecute en la computadora portátil y no se ejecutará cuando el código de la computadora portátil se envíe a Google Cloud.
# Using tfc.remote() to ensure this code only runs in notebook
if not tfc.remote():
# Authentication for Kaggle Notebooks
if "kaggle_secrets" in sys.modules:
from kaggle_secrets import UserSecretsClient
UserSecretsClient().set_gcloud_credentials(project=GCP_PROJECT_ID)
# Authentication for Colab Notebooks
if "google.colab" in sys.modules:
from google.colab import auth
auth.authenticate_user()
os.environ["GOOGLE_CLOUD_PROJECT"] = GCP_PROJECT_ID
Configuración del modelo y los datos.
A partir de aquí, seguimos el procedimiento básico para configurar un modelo Keras simple para ejecutar la clasificación en el conjunto de datos MNIST.
Cargar y dividir datos
Lea datos sin procesar y divídalos para entrenar y probar conjuntos de datos.
(x_train, y_train), (_, _) = tf.keras.datasets.mnist.load_data()
x_train = x_train.reshape((60000, 28 * 28))
x_train = x_train.astype('float32') / 255
Crea un modelo y prepárate para el entrenamiento.
Cree un modelo simple y configure algunas devoluciones de llamada para él.
from tensorflow.keras import layers
model = tf.keras.Sequential([
tf.keras.layers.Dense(512, activation='relu', input_shape=(28 * 28,)),
tf.keras.layers.Dropout(0.2),
tf.keras.layers.Dense(10, activation='softmax')
])
model.compile(loss='sparse_categorical_crossentropy',
optimizer=tf.keras.optimizers.Adam(),
metrics=['accuracy'])
Entrenamiento de validación rápida
Entrenaremos el modelo durante una (1) época solo para asegurarnos de que todo esté configurado correctamente, y empaquetaremos ese comando de entrenamiento en if not tfc.remote , para que solo suceda aquí en el entorno de ejecución en el que usted está leyendo esto, no cuando se envía a Google Cloud.
if not tfc.remote():
# Run the training for 1 epoch and a small subset of the data to validate setup
model.fit(x=x_train[:100], y=y_train[:100], validation_split=0.2, epochs=1)
Prepárese para la formación remota
El siguiente código solo se ejecutará cuando el código del cuaderno se envíe a Google Cloud, no dentro del tiempo de ejecución en el que estás leyendo esto.
Primero, configuramos devoluciones de llamada que:
- Cree registros para TensorBoard .
- Cree puntos de control y guárdelos en el directorio de puntos de control especificado anteriormente.
- Detenga el entrenamiento del modelo si la pérdida no mejora lo suficiente.
Luego llamamos model.fit y model.save , que (cuando este código se ejecuta en Google Cloud) ejecutan el entrenamiento completo (100 épocas) y luego guardan el modelo entrenado en el GCS Bucket y el directorio definido anteriormente.
if tfc.remote():
# Configure Tensorboard logs
callbacks=[
tf.keras.callbacks.TensorBoard(log_dir=TENSORBOARD_LOGS_DIR),
tf.keras.callbacks.ModelCheckpoint(
MODEL_CHECKPOINT_DIR,
save_best_only=True),
tf.keras.callbacks.EarlyStopping(
monitor='loss',
min_delta =0.001,
patience=3)]
model.fit(x=x_train, y=y_train, epochs=100,
validation_split=0.2, callbacks=callbacks)
model.save(SAVED_MODEL_DIR)
Iniciar la formación remota
TensorFlow Cloud toma todo el código de su entorno de ejecución local (este cuaderno), lo empaqueta y lo envía a Google Cloud para su ejecución. (Es por eso que los envoltorios tfc.remote if y if not son importantes).
Este paso preparará su código de este cuaderno para la ejecución remota y luego iniciará un trabajo de capacitación remota en Google Cloud Platform para entrenar el modelo.
Primero agregamos el paquete Python tensorflow-cloud a un archivo requirements.txt , que se enviará junto con el código de este cuaderno. Puede agregar otros paquetes aquí según sea necesario.
Luego se especifican una GPU y una imagen de CPU. Sólo necesitas especificar uno u otro; la GPU se utiliza en el código siguiente.
Finalmente, el corazón de la nube TensorFlow: la llamada a tfc.run . Cuando esto se ejecuta dentro de este cuaderno, todo el código de este cuaderno y el resto de los archivos en este directorio se empaquetarán y enviarán a Google Cloud para su ejecución. Los parámetros del método run especifican los detalles de las imágenes de la CPU de la GPU. Sólo necesitas especificar uno u otro; la GPU se utiliza en el código siguiente.
Finalmente, el corazón de la nube TensorFlow: la llamada a tfc.run . Cuando esto se ejecuta dentro de este cuaderno, todo el código de este cuaderno y el resto de los archivos en este directorio se empaquetarán y enviarán a Google Cloud para su ejecución. Los parámetros del método run especifican los detalles de las imágenes de GPU y CPU. Sólo necesitas especificar uno u otro; la GPU se utiliza en el código siguiente.
Finalmente, el corazón de la nube TensorFlow: la llamada a tfc.run . Cuando esto se ejecuta dentro de este cuaderno, todo el código de este cuaderno y el resto de los archivos en este directorio se empaquetarán y enviarán a Google Cloud para su ejecución. Los parámetros del método run especifican los detalles del entorno de ejecución y la estrategia de distribución (si corresponde) que se utilizará.
Una vez enviado el trabajo, puede pasar al siguiente paso para monitorear el progreso del trabajo a través de Tensorboard.
# If you are using a custom image you can install modules via requirements
# txt file.
with open('requirements.txt','w') as f:
f.write('tensorflow-cloud\n')
# Optional: Some recommended base images. If you provide none the system
# will choose one for you.
TF_GPU_IMAGE= "tensorflow/tensorflow:latest-gpu"
TF_CPU_IMAGE= "tensorflow/tensorflow:latest"
# Submit a single node training job using GPU.
tfc.run(
distribution_strategy='auto',
requirements_txt='requirements.txt',
docker_config=tfc.DockerConfig(
parent_image=TF_GPU_IMAGE,
image_build_bucket=GCS_BUCKET
),
chief_config=tfc.COMMON_MACHINE_CONFIGS['K80_1X'],
job_labels={'job': JOB_NAME}
)
Resultados del entrenamiento
Vuelva a conectar su instancia de Colab
La mayoría de los trabajos de formación remota son de larga duración. Si está utilizando Colab, es posible que expire el tiempo de espera antes de que los resultados del entrenamiento estén disponibles.
En ese caso, vuelva a ejecutar las siguientes secciones para volver a conectarse y configurar su instancia de Colab para acceder a los resultados de la capacitación.
- Importar módulos requeridos
- Configuraciones de proyecto
- Autenticar el cuaderno para usar su proyecto Google Cloud
NO vuelva a ejecutar el resto del código.
Cargar tensorboard
Mientras el entrenamiento está en curso, puedes usar Tensorboard para ver los resultados. Tenga en cuenta que los resultados se mostrarán solo después de que haya comenzado su entrenamiento. Esto puede tomar unos pocos minutos.
%load_ext tensorboard
%tensorboard --logdir $TENSORBOARD_LOGS_DIR
Cargue su modelo entrenado
Una vez que se completa la capacitación, puede recuperar su modelo del GCS Bucket que especificó anteriormente.
trained_model = tf.keras.models.load_model(SAVED_MODEL_DIR)
trained_model.summary()