ช่วยปกป้อง Great Barrier Reef กับ TensorFlow บน Kaggle เข้าร่วมท้าทาย

ย้ายจาก TPUEstimator เป็น TPUStrategy

ดูบน TensorFlow.org ทำงานใน Google Colab ดูแหล่งที่มาบน GitHub ดาวน์โหลดโน๊ตบุ๊ค

คู่มือนี้จะแสดงให้เห็นถึงวิธีการโยกย้ายเวิร์กโฟลว์ของคุณทำงานบน TPUs จาก TensorFlow 1 TPUEstimator API เพื่อ TensorFlow 2 TPUStrategy API

  • ใน TensorFlow 1, tf.compat.v1.estimator.tpu.TPUEstimator API จะช่วยให้คุณฝึกอบรมและประเมินผลการศึกษารูปแบบเช่นเดียวกับการดำเนินการอนุมานและบันทึกรูปแบบของคุณ (สำหรับการให้บริการ) บน (เมฆ) TPUs
  • ใน TensorFlow 2 เพื่อดำเนินการฝึกอบรมการซิงโครบน TPUs และ TPU ฝัก (คอลเลกชันของอุปกรณ์ TPU เชื่อมต่อโดยการเชื่อมต่อเครือข่ายความเร็วสูงโดยเฉพาะ), คุณจำเป็นต้องใช้การกระจาย TPU strategy- tf.distribute.TPUStrategy กลยุทธ์ที่สามารถทำงานร่วมกับ Keras APIs รวมทั้งสำหรับการสร้างแบบจำลอง ( tf.keras.Model ) เพิ่มประสิทธิภาพ ( tf.keras.optimizers.Optimizer ) และการฝึกอบรม ( Model.fit ) -as เดียวกับห่วงการฝึกอบรมที่กำหนดเอง (กับ tf.function และ tf.GradientTape )

สำหรับแบบ end-to-end TensorFlow 2 ตัวอย่างให้ตรวจสอบ การใช้ TPUs คู่มือ-คือการจำแนกใน TPUs ส่วนและ แก้ปัญหางานกาวใช้เบิร์ตบน TPU กวดวิชา นอกจากนี้คุณยังอาจพบ การฝึกอบรมการแจกจ่าย คู่มือที่มีประโยชน์ซึ่งครอบคลุมถึงกลยุทธ์การกระจาย TensorFlow ทั้งหมดรวมทั้ง TPUStrategy

ติดตั้ง

เริ่มต้นด้วยการนำเข้าและชุดข้อมูลอย่างง่ายเพื่อการสาธิต:

import tensorflow as tf
import tensorflow.compat.v1 as tf1
/tmpfs/src/tf_docs_env/lib/python3.6/site-packages/requests/__init__.py:104: RequestsDependencyWarning: urllib3 (1.26.7) or chardet (2.3.0)/charset_normalizer (2.0.9) doesn't match a supported version!
  RequestsDependencyWarning)
features = [[1., 1.5]]
labels = [[0.3]]
eval_features = [[4., 4.5]]
eval_labels = [[0.8]]

TensorFlow 1: ขับเคลื่อนโมเดลบน TPU ด้วย TPUEstimator

คู่มือในส่วนนี้แสดงให้เห็นถึงวิธีการดำเนินการฝึกอบรมและการประเมินผลด้วย tf.compat.v1.estimator.tpu.TPUEstimator ใน TensorFlow 1

หากต้องการใช้ TPUEstimator แรกกำหนดฟังก์ชั่นไม่กี่: ฟังก์ชั่นการป้อนข้อมูลการฝึกอบรม, ฟังก์ชั่นการป้อนข้อมูลการประเมินผลข้อมูลการประเมินผลและฟังก์ชั่นรูปแบบที่บอก TPUEstimator วิธีการสหกรณ์การฝึกอบรมจะถูกกำหนดด้วยคุณสมบัติและป้ายชื่อ:

def _input_fn(params):
  dataset = tf1.data.Dataset.from_tensor_slices((features, labels))
  dataset = dataset.repeat()
  return dataset.batch(params['batch_size'], drop_remainder=True)

def _eval_input_fn(params):
  dataset = tf1.data.Dataset.from_tensor_slices((eval_features, eval_labels))
  dataset = dataset.repeat()
  return dataset.batch(params['batch_size'], drop_remainder=True)

def _model_fn(features, labels, mode, params):
  logits = tf1.layers.Dense(1)(features)
  loss = tf1.losses.mean_squared_error(labels=labels, predictions=logits)
  optimizer = tf1.train.AdagradOptimizer(0.05)
  train_op = optimizer.minimize(loss, global_step=tf1.train.get_global_step())
  return tf1.estimator.tpu.TPUEstimatorSpec(mode, loss=loss, train_op=train_op)

ด้วยฟังก์ชั่นที่กำหนดให้สร้าง tf.distribute.cluster_resolver.TPUClusterResolver ที่ให้ข้อมูลคลัสเตอร์และ tf.compat.v1.estimator.tpu.RunConfig วัตถุ พร้อมกับฟังก์ชั่นรูปแบบที่คุณได้กำหนดไว้ตอนนี้คุณสามารถสร้าง TPUEstimator ที่นี่ คุณจะลดความซับซ้อนของโฟลว์โดยข้ามการประหยัดด่าน จากนั้นคุณจะระบุขนาดชุดสำหรับทั้งการฝึกอบรมและการประเมินผลสำหรับ TPUEstimator

cluster_resolver = tf1.distribute.cluster_resolver.TPUClusterResolver(tpu='')
print("All devices: ", tf1.config.list_logical_devices('TPU'))
All devices:  []
tpu_config = tf1.estimator.tpu.TPUConfig(iterations_per_loop=10)
config = tf1.estimator.tpu.RunConfig(
    cluster=cluster_resolver,
    save_checkpoints_steps=None,
    tpu_config=tpu_config)
estimator = tf1.estimator.tpu.TPUEstimator(
    model_fn=_model_fn,
    config=config,
    train_batch_size=8,
    eval_batch_size=8)
WARNING:tensorflow:Estimator's model_fn (<function _model_fn at 0x7f085b6eae18>) includes params argument, but params are not passed to Estimator.
WARNING:tensorflow:Using temporary folder as model directory: /tmp/tmpb4lechmg
INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmpb4lechmg', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': None, '_session_config': allow_soft_placement: true
cluster_def {
  job {
    name: "worker"
    tasks {
      key: 0
      value: "10.240.1.10:8470"
    }
  }
}
isolate_session_state: true
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': None, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_checkpoint_save_graph_def': True, '_service': None, '_cluster_spec': ClusterSpec({'worker': ['10.240.1.10:8470']}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': 'grpc://10.240.1.10:8470', '_evaluation_master': 'grpc://10.240.1.10:8470', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1, '_tpu_config': TPUConfig(iterations_per_loop=10, num_shards=None, num_cores_per_replica=None, per_host_input_for_training=2, tpu_job_name=None, initial_infeed_sleep_secs=None, input_partition_dims=None, eval_training_input_configuration=2, experimental_host_call_every_n_steps=1, experimental_allow_per_host_v2_parallel_get_next=False, experimental_feed_hook=None), '_cluster': <tensorflow.python.distribute.cluster_resolver.tpu.tpu_cluster_resolver.TPUClusterResolver object at 0x7f085d335d30>}
INFO:tensorflow:_TPUContext: eval_on_tpu True

โทร TPUEstimator.train ที่จะเริ่มต้นการฝึกอบรมรูปแบบ:

estimator.train(_input_fn, steps=1)
INFO:tensorflow:Querying Tensorflow master (grpc://10.240.1.10:8470) for TPU system metadata.
INFO:tensorflow:Found TPU system:
INFO:tensorflow:*** Num TPU Cores: 8
INFO:tensorflow:*** Num TPU Workers: 1
INFO:tensorflow:*** Num TPU Cores Per Worker: 8
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:CPU:0, CPU, -1, -3647470094639287222)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:0, TPU, 17179869184, -4023478403302218909)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:1, TPU, 17179869184, 5381605205224317798)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:2, TPU, 17179869184, 4519355694646195693)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:3, TPU, 17179869184, -6519377304537534401)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:4, TPU, 17179869184, -7515633098448116369)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:5, TPU, 17179869184, 5378185555831876363)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:6, TPU, 17179869184, 152453060555458768)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:7, TPU, 17179869184, 7866248824725174753)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU_SYSTEM:0, TPU_SYSTEM, 17179869184, 3490000913007233511)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:XLA_CPU:0, XLA_CPU, 17179869184, -5503803846741663680)
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/training_util.py:236: Variable.initialized_value (from tensorflow.python.ops.variables) is deprecated and will be removed in a future version.
Instructions for updating:
Use Variable.read_value. Variables in 2.X are initialized automatically both in eager and graph (inside tf.defun) contexts.
INFO:tensorflow:Calling model_fn.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/adagrad.py:77: calling Constant.__init__ (from tensorflow.python.ops.init_ops) with dtype is deprecated and will be removed in a future version.
Instructions for updating:
Call initializer instance with the dtype argument instead of passing it to the constructor
INFO:tensorflow:Bypassing TPUEstimator hook
INFO:tensorflow:Done calling model_fn.
INFO:tensorflow:TPU job name worker
INFO:tensorflow:Graph was finalized.
INFO:tensorflow:Running local_init_op.
INFO:tensorflow:Done running local_init_op.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_estimator/python/estimator/tpu/tpu_estimator.py:758: Variable.load (from tensorflow.python.ops.variables) is deprecated and will be removed in a future version.
Instructions for updating:
Prefer Variable.assign which has equivalent behavior in 2.X.
INFO:tensorflow:Initialized dataset iterators in 0 seconds
INFO:tensorflow:Installing graceful shutdown hook.
INFO:tensorflow:Creating heartbeat manager for ['/job:worker/replica:0/task:0/device:CPU:0']
INFO:tensorflow:Configuring worker heartbeat: shutdown_mode: WAIT_FOR_COORDINATOR

INFO:tensorflow:Init TPU system
INFO:tensorflow:Initialized TPU in 7 seconds
INFO:tensorflow:Starting infeed thread controller.
INFO:tensorflow:Starting outfeed thread controller.
INFO:tensorflow:Enqueue next (1) batch(es) of data to infeed.
INFO:tensorflow:Dequeue next (1) batch(es) of data from outfeed.
INFO:tensorflow:Outfeed finished for iteration (0, 0)
INFO:tensorflow:loss = 0.18597336, step = 1
INFO:tensorflow:Stop infeed thread controller
INFO:tensorflow:Shutting down InfeedController thread.
INFO:tensorflow:InfeedController received shutdown signal, stopping.
INFO:tensorflow:Infeed thread finished, shutting down.
INFO:tensorflow:infeed marked as finished
INFO:tensorflow:Stop output thread controller
INFO:tensorflow:Shutting down OutfeedController thread.
INFO:tensorflow:OutfeedController received shutdown signal, stopping.
INFO:tensorflow:Outfeed thread finished, shutting down.
INFO:tensorflow:outfeed marked as finished
INFO:tensorflow:Shutdown TPU system.
INFO:tensorflow:Loss for final step: 0.18597336.
INFO:tensorflow:training_loop marked as finished
<tensorflow_estimator.python.estimator.tpu.tpu_estimator.TPUEstimator at 0x7f085b6d43c8>

จากนั้นโทร TPUEstimator.evaluate ในการประเมินรูปแบบการใช้ข้อมูลการประเมินผล:

estimator.evaluate(_eval_input_fn, steps=1)
INFO:tensorflow:Could not find trained model in model_dir: /tmp/tmpb4lechmg, running initialization to evaluate.
INFO:tensorflow:Calling model_fn.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_estimator/python/estimator/tpu/tpu_estimator.py:3406: div (from tensorflow.python.ops.math_ops) is deprecated and will be removed in a future version.
Instructions for updating:
Deprecated in favor of operator or tf.math.divide.
INFO:tensorflow:Done calling model_fn.
INFO:tensorflow:Starting evaluation at 2021-12-04T14:10:30
INFO:tensorflow:TPU job name worker
INFO:tensorflow:Graph was finalized.
INFO:tensorflow:Running local_init_op.
INFO:tensorflow:Done running local_init_op.
INFO:tensorflow:Init TPU system
INFO:tensorflow:Initialized TPU in 10 seconds
INFO:tensorflow:Starting infeed thread controller.
INFO:tensorflow:Starting outfeed thread controller.
INFO:tensorflow:Initialized dataset iterators in 0 seconds
INFO:tensorflow:Enqueue next (1) batch(es) of data to infeed.
INFO:tensorflow:Dequeue next (1) batch(es) of data from outfeed.
INFO:tensorflow:Outfeed finished for iteration (0, 0)
INFO:tensorflow:Evaluation [1/1]
INFO:tensorflow:Stop infeed thread controller
INFO:tensorflow:Shutting down InfeedController thread.
INFO:tensorflow:InfeedController received shutdown signal, stopping.
INFO:tensorflow:Infeed thread finished, shutting down.
INFO:tensorflow:infeed marked as finished
INFO:tensorflow:Stop output thread controller
INFO:tensorflow:Shutting down OutfeedController thread.
INFO:tensorflow:OutfeedController received shutdown signal, stopping.
INFO:tensorflow:Outfeed thread finished, shutting down.
INFO:tensorflow:outfeed marked as finished
INFO:tensorflow:Shutdown TPU system.
INFO:tensorflow:Inference Time : 11.00412s
INFO:tensorflow:Finished evaluation at 2021-12-04-14:10:41
INFO:tensorflow:Saving dict for global step 1: global_step = 1, loss = 39.13212
INFO:tensorflow:evaluation_loop marked as finished
{'loss': 39.13212, 'global_step': 1}

TensorFlow 2: ขับเคลื่อนโมเดลบน TPU ด้วย Keras Model.fit และ TPUStrategy

ใน TensorFlow 2 ในการฝึกอบรมคนงาน TPU ใช้ tf.distribute.TPUStrategy ร่วมกับ Keras APIs สำหรับความหมายรูปแบบและการฝึกอบรม / การประเมินผล (โปรดดูที่ การใช้ TPUs คู่มือสำหรับตัวอย่างของการฝึกอบรมที่มี Keras Model.fit และห่วงการฝึกอบรมที่กำหนดเอง (กับ tf.function และ tf.GradientTape ).)

เนื่องจากคุณจำเป็นต้องดำเนินการทำงานเริ่มต้นบางอย่างที่จะเชื่อมต่อไปยังกลุ่มระยะไกลและการเตรียมแรงงาน TPU เริ่มต้นด้วยการสร้าง TPUClusterResolver ที่จะให้ข้อมูลคลัสเตอร์และเชื่อมต่อกับคลัสเตอร์ (เรียนรู้เพิ่มเติมในส่วน TPU เริ่มต้นของ การใช้ TPUs คู่มือ.)

cluster_resolver = tf.distribute.cluster_resolver.TPUClusterResolver(tpu='')
tf.config.experimental_connect_to_cluster(cluster_resolver)
tf.tpu.experimental.initialize_tpu_system(cluster_resolver)
print("All devices: ", tf.config.list_logical_devices('TPU'))
INFO:tensorflow:Clearing out eager caches
INFO:tensorflow:Clearing out eager caches
INFO:tensorflow:Initializing the TPU system: grpc://10.240.1.10:8470
INFO:tensorflow:Initializing the TPU system: grpc://10.240.1.10:8470
INFO:tensorflow:Finished initializing TPU system.
INFO:tensorflow:Finished initializing TPU system.
All devices:  [LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:0', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:1', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:2', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:3', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:4', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:5', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:6', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:7', device_type='TPU')]

ถัดไปเมื่อข้อมูลของคุณจะถูกจัดเตรียมคุณจะสร้าง TPUStrategy กำหนดรูปแบบการวัดและเพิ่มประสิทธิภาพภายใต้ขอบเขตของกลยุทธ์นี้

เพื่อให้บรรลุความเร็วการฝึกอบรมเทียบเคียงกับ TPUStrategy คุณควรให้แน่ใจว่าจะเลือกตัวเลขสำหรับ steps_per_execution ใน Model.compile เพราะมันระบุจำนวนของแบตช์ที่จะทำงานในช่วงแต่ละ tf.function โทรและเป็นสิ่งสำคัญสำหรับการทำงาน เรื่องนี้มีความคล้ายคลึงกับ iterations_per_loop ใช้ใน TPUEstimator หากคุณกำลังใช้ลูปการฝึกอบรมที่กำหนดเองคุณควรตรวจสอบให้แน่ใจว่าขั้นตอนหลายจะดำเนินการภายใน tf.function -ed ฟังก์ชั่นการฝึกอบรม ไปที่การปรับปรุงประสิทธิภาพการทำงานที่มีหลายขั้นตอนภายในส่วน tf.function ของ ใช้ TPUs คู่มือสำหรับข้อมูลเพิ่มเติม

tf.distribute.TPUStrategy สามารถรองรับรูปทรงแบบไดนามิก จำกัด ซึ่งเป็นกรณีที่ถูกผูกไว้บนของการคำนวณรูปทรงแบบไดนามิกจะสามารถสรุป แต่รูปร่างแบบไดนามิกอาจแนะนำค่าใช้จ่ายด้านประสิทธิภาพเมื่อเทียบกับรูปร่างคงที่ ดังนั้น โดยทั่วไป แนะนำให้ทำให้รูปร่างอินพุตของคุณเป็นแบบคงที่ ถ้าเป็นไปได้ โดยเฉพาะอย่างยิ่งในการฝึก หนึ่งสหกรณ์ร่วมกันที่ส่งกลับรูปร่างแบบไดนามิกเป็น tf.data.Dataset.batch(batch_size) เนื่องจากจำนวนตัวอย่างที่เหลืออยู่ในกระแสอาจจะน้อยกว่าขนาดชุด ดังนั้นเมื่อการฝึกอบรมใน TPU ที่คุณควรใช้ tf.data.Dataset.batch(..., drop_remainder=True) สำหรับผลการดำเนินการฝึกอบรมที่ดีที่สุด

dataset = tf.data.Dataset.from_tensor_slices(
    (features, labels)).shuffle(10).repeat().batch(
        8, drop_remainder=True).prefetch(2)
eval_dataset = tf.data.Dataset.from_tensor_slices(
    (eval_features, eval_labels)).batch(1, drop_remainder=True)

strategy = tf.distribute.TPUStrategy(cluster_resolver)
with strategy.scope():
  model = tf.keras.models.Sequential([tf.keras.layers.Dense(1)])
  optimizer = tf.keras.optimizers.Adagrad(learning_rate=0.05)
  model.compile(optimizer, "mse", steps_per_execution=10)
INFO:tensorflow:Found TPU system:
INFO:tensorflow:Found TPU system:
INFO:tensorflow:*** Num TPU Cores: 8
INFO:tensorflow:*** Num TPU Cores: 8
INFO:tensorflow:*** Num TPU Workers: 1
INFO:tensorflow:*** Num TPU Workers: 1
INFO:tensorflow:*** Num TPU Cores Per Worker: 8
INFO:tensorflow:*** Num TPU Cores Per Worker: 8
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:localhost/replica:0/task:0/device:CPU:0, CPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:localhost/replica:0/task:0/device:CPU:0, CPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:CPU:0, CPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:CPU:0, CPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:0, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:0, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:1, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:1, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:2, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:2, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:3, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:3, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:4, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:4, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:5, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:5, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:6, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:6, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:7, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:7, TPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU_SYSTEM:0, TPU_SYSTEM, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU_SYSTEM:0, TPU_SYSTEM, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:XLA_CPU:0, XLA_CPU, 0, 0)
INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:XLA_CPU:0, XLA_CPU, 0, 0)

ด้วยเหตุนี้ คุณจึงพร้อมที่จะฝึกโมเดลด้วยชุดข้อมูลการฝึก:

model.fit(dataset, epochs=5, steps_per_epoch=10)
Epoch 1/5
10/10 [==============================] - 1s 144ms/step - loss: 0.0708
Epoch 2/5
10/10 [==============================] - 0s 3ms/step - loss: 5.3889e-04
Epoch 3/5
10/10 [==============================] - 0s 3ms/step - loss: 5.5338e-06
Epoch 4/5
10/10 [==============================] - 0s 3ms/step - loss: 5.6931e-08
Epoch 5/5
10/10 [==============================] - 0s 3ms/step - loss: 5.8623e-10
<keras.callbacks.History at 0x7f064fed1860>

สุดท้าย ประเมินแบบจำลองโดยใช้ชุดข้อมูลการประเมิน:

model.evaluate(eval_dataset, return_dict=True)
1/1 [==============================] - 2s 2s/step - loss: 0.7638
{'loss': 0.7638343572616577}

ขั้นตอนถัดไป

ต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ TPUStrategy ใน TensorFlow 2 พิจารณาทรัพยากรต่อไปนี้:

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการปรับแต่งการฝึกของคุณ โปรดดูที่:

ASICs ผู้เชี่ยวชาญ TPUs ของ Google สำหรับเครื่องการเรียนรู้ที่มีอยู่ผ่าน Google Colab ที่ TPU วิจัยเมฆ และ เมฆ TPU