Google I / Oの基調講演、製品セッション、ワークショップなどを見るプレイリストを見る

モジュール、レイヤー、モデルの概要

TensorFlow.org で見る Google Colabで実行 GitHub でソースを表示ノートをダウンロード

TensorFlow で機械学習を行うには、モデルを定義、保存、および復元する必要がある可能性があります。

モデルは、抽象的には次のとおりです。

  • テンソルで何かを計算する関数 (フォワードパス)
  • トレーニングに応じて更新できるいくつかの変数

このガイドでは、Keras の表面の下に行って、TensorFlow モデルがどのように定義されているかを確認します。これは、TensorFlow が変数とモデルを収集する方法と、それらがどのように保存および復元されるかを調べます。

セットアップ

import tensorflow as tf
from datetime import datetime

%load_ext tensorboard

TensorFlow でのモデルとレイヤーの定義

ほとんどのモデルはレイヤーで構成されています。レイヤーは、再利用可能でトレーニング可能な変数を持つ既知の数学的構造を持つ関数です。 TensorFlow では、Keras やSonnetなどのレイヤーとモデルのほとんどの高レベルの実装は、同じ基本クラスであるtf.Module上に構築されます。

スカラー テンソルで動作する非常に単純なtf.Module例をtf.Module示します。

class SimpleModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)
    self.a_variable = tf.Variable(5.0, name="train_me")
    self.non_trainable_variable = tf.Variable(5.0, trainable=False, name="do_not_train_me")
  def __call__(self, x):
    return self.a_variable * x + self.non_trainable_variable

simple_module = SimpleModule(name="simple")

simple_module(tf.constant(5.0))
<tf.Tensor: shape=(), dtype=float32, numpy=30.0>

モジュールと、拡張により、レイヤーは、「オブジェクト」の深層学習用語です。これらには、内部状態と、その状態を使用するメソッドがあります。

Python の callable のように振る舞うことを除けば、 __call__について特別なことは何もありません。必要な関数を使用してモデルを呼び出すことができます。

微調整中のレイヤーと変数のフリーズなど、何らかの理由で変数のトレーニング可能性をオンまたはオフに設定できます。

tf.Moduleサブクラスtf.Moduleことにより、このオブジェクトのプロパティに割り当てられたtf.Variableまたはtf.Moduleインスタンスが自動的に収集されます。これにより、変数を保存およびロードでき、 tf.Moduleのコレクションを作成することもできます。

# All trainable variables
print("trainable variables:", simple_module.trainable_variables)
# Every variable
print("all variables:", simple_module.variables)
trainable variables: (<tf.Variable 'train_me:0' shape=() dtype=float32, numpy=5.0>,)
all variables: (<tf.Variable 'train_me:0' shape=() dtype=float32, numpy=5.0>, <tf.Variable 'do_not_train_me:0' shape=() dtype=float32, numpy=5.0>)

これは、モジュールで構成された 2 層線形層モデルの例です。

最初に高密度 (線形) レイヤー:

class Dense(tf.Module):
  def __init__(self, in_features, out_features, name=None):
    super().__init__(name=name)
    self.w = tf.Variable(
      tf.random.normal([in_features, out_features]), name='w')
    self.b = tf.Variable(tf.zeros([out_features]), name='b')
  def __call__(self, x):
    y = tf.matmul(x, self.w) + self.b
    return tf.nn.relu(y)

そして、2 つのレイヤー インスタンスを作成してそれらを適用する完全なモデル:

class SequentialModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)

    self.dense_1 = Dense(in_features=3, out_features=3)
    self.dense_2 = Dense(in_features=3, out_features=2)

  def __call__(self, x):
    x = self.dense_1(x)
    return self.dense_2(x)

# You have made a model!
my_model = SequentialModule(name="the_model")

# Call it, with random results
print("Model results:", my_model(tf.constant([[2.0, 2.0, 2.0]])))
​​
Model results: tf.Tensor([[6.061718  0.6471251]], shape=(1, 2), dtype=float32)

tf.Moduleインスタンスは、割り当てられたtf.Variableまたはtf.Moduleインスタンスを再帰的に自動的に収集します。これにより、単一のモデル インスタンスでtf.Moduleのコレクションを管理し、モデル全体を保存およびロードできます。

print("Submodules:", my_model.submodules)
Submodules: (<__main__.Dense object at 0x7fc8f8303390>, <__main__.Dense object at 0x7fc914063f10>)
for var in my_model.variables:
  print(var, "\n")
<tf.Variable 'b:0' shape=(3,) dtype=float32, numpy=array([0., 0., 0.], dtype=float32)> 

<tf.Variable 'w:0' shape=(3, 3) dtype=float32, numpy=
array([[-0.19300742,  1.3667928 , -0.29094702],
       [-0.56738806,  0.41195342, -0.8029899 ],
       [-2.249858  ,  0.21082571,  0.52548176]], dtype=float32)> 

<tf.Variable 'b:0' shape=(2,) dtype=float32, numpy=array([0., 0.], dtype=float32)> 

<tf.Variable 'w:0' shape=(3, 2) dtype=float32, numpy=
array([[-2.0251064 ,  1.2355493 ],
       [ 1.5233724 ,  0.16262923],
       [-1.4819455 , -0.39067182]], dtype=float32)>

変数の作成を待機しています

ここで、レイヤーの入力サイズと出力サイズの両方を定義する必要があることに気付いたかもしれません。これは、 w変数が既知の形状を持ち、割り当てられるようにするためです。

変数の作成を特定の入力シェイプでモジュールが最初に呼び出されるまで延期することで、入力サイズを事前に指定する必要がなくなります。

class FlexibleDenseModule(tf.Module):
  # Note: No need for `in_features`
  def __init__(self, out_features, name=None):
    super().__init__(name=name)
    self.is_built = False
    self.out_features = out_features

  def __call__(self, x):
    # Create variables on first call.
    if not self.is_built:
      self.w = tf.Variable(
        tf.random.normal([x.shape[-1], self.out_features]), name='w')
      self.b = tf.Variable(tf.zeros([self.out_features]), name='b')
      self.is_built = True

    y = tf.matmul(x, self.w) + self.b
    return tf.nn.relu(y)
# Used in a module
class MySequentialModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)

    self.dense_1 = FlexibleDenseModule(out_features=3)
    self.dense_2 = FlexibleDenseModule(out_features=2)

  def __call__(self, x):
    x = self.dense_1(x)
    return self.dense_2(x)

my_model = MySequentialModule(name="the_model")
print("Model results:", my_model(tf.constant([[2.0, 2.0, 2.0]])))
Model results: tf.Tensor([[0.         0.08831326]], shape=(1, 2), dtype=float32)

この柔軟性が、TensorFlow 層が入力サイズと出力サイズの両方ではなく、 tf.keras.layers.Denseなどの出力の形状のみを指定する必要がある理由です。

重みの保存

tf.ModuleチェックポイントSavedModel の両方として保存できます。

チェックポイントは単なる重み (つまり、モジュールとそのサブモジュール内の変数のセットの値) です。

chkp_path = "my_checkpoint"
checkpoint = tf.train.Checkpoint(model=my_model)
checkpoint.write(chkp_path)
'my_checkpoint'

チェックポイントは、データ自体とメタデータのインデックス ファイルの 2 種類のファイルで構成されます。インデックス ファイルは実際に保存された内容とチェックポイントの番号付けを追跡し、チェックポイント データには変数値とその属性ルックアップ パスが含まれます。

ls my_checkpoint*
my_checkpoint.data-00000-of-00001  my_checkpoint.index

チェックポイント内を調べて、変数のコレクション全体が保存され、変数を含む Python オブジェクトでソートされていることを確認できます。

tf.train.list_variables(chkp_path)
[('_CHECKPOINTABLE_OBJECT_GRAPH', []),
 ('model/dense_1/b/.ATTRIBUTES/VARIABLE_VALUE', [3]),
 ('model/dense_1/w/.ATTRIBUTES/VARIABLE_VALUE', [3, 3]),
 ('model/dense_2/b/.ATTRIBUTES/VARIABLE_VALUE', [2]),
 ('model/dense_2/w/.ATTRIBUTES/VARIABLE_VALUE', [3, 2])]

分散 (マルチマシン) トレーニング中には、それらを分割することができます。そのため、番号が付けられます (たとえば、「00001 の 00000」)。ただし、この場合、シャードは 1 つしかありません。

モデルをロードし直すと、Python オブジェクトの値が上書きされます。

new_model = MySequentialModule()
new_checkpoint = tf.train.Checkpoint(model=new_model)
new_checkpoint.restore("my_checkpoint")

# Should be the same result as above
new_model(tf.constant([[2.0, 2.0, 2.0]]))
<tf.Tensor: shape=(1, 2), dtype=float32, numpy=array([[0.        , 0.08831326]], dtype=float32)>

関数の保存

TensorFlow ServingTensorFlow Liteが示すように、 TensorFlow Hubからトレーニング済みモデルをダウンロードする場合でも、 TensorFlowは元の Python オブジェクトなしでモデルを実行できます。

TensorFlow は、Python で記述された計算を行う方法を知る必要がありますが、元のコードは必要ありません。これを行うには、グラフを作成できます。これについては、 「グラフと関数の概要」ガイドで説明されています

このグラフには、関数を実装する操作、つまりopsが含まれています。

上記のモデルでグラフを定義するには、 @tf.functionデコレータを追加して、このコードをグラフとして実行する必要があることを示します。

class MySequentialModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)

    self.dense_1 = Dense(in_features=3, out_features=3)
    self.dense_2 = Dense(in_features=3, out_features=2)

  @tf.function
  def __call__(self, x):
    x = self.dense_1(x)
    return self.dense_2(x)

# You have made a model with a graph!
my_model = MySequentialModule(name="the_model")

作成したモジュールは、以前とまったく同じように機能します。関数に渡される一意の署名ごとに、個別のグラフが作成されます。詳細については、グラフと関数の概要ガイドを確認してください。

print(my_model([[2.0, 2.0, 2.0]]))
print(my_model([[[2.0, 2.0, 2.0], [2.0, 2.0, 2.0]]]))
tf.Tensor([[0. 0.]], shape=(1, 2), dtype=float32)
tf.Tensor(
[[[0. 0.]
  [0. 0.]]], shape=(1, 2, 2), dtype=float32)

TensorBoard サマリー内でトレースすることにより、グラフを視覚化できます。

# Set up logging.
stamp = datetime.now().strftime("%Y%m%d-%H%M%S")
logdir = "logs/func/%s" % stamp
writer = tf.summary.create_file_writer(logdir)

# Create a new model to get a fresh trace
# Otherwise the summary will not see the graph.
new_model = MySequentialModule()

# Bracket the function call with
# tf.summary.trace_on() and tf.summary.trace_export().
tf.summary.trace_on(graph=True)
tf.profiler.experimental.start(logdir)
# Call only one tf.function when tracing.
z = print(new_model(tf.constant([[2.0, 2.0, 2.0]])))
with writer.as_default():
  tf.summary.trace_export(
      name="my_func_trace",
      step=0,
      profiler_outdir=logdir)
tf.Tensor([[4.6956697 0.       ]], shape=(1, 2), dtype=float32)

TensorBoard を起動して、結果のトレースを表示します。

%tensorboard --logdir logs/func

TensorBoard のグラフのスクリーンショット

SavedModel作成

完全にトレーニングされたモデルを共有する推奨される方法は、 SavedModelを使用することSavedModelSavedModelは、関数のコレクションと重みのコレクションの両方が含まれています。

トレーニングしたばかりのモデルを次のように保存できます。

tf.saved_model.save(my_model, "the_saved_model")
INFO:tensorflow:Assets written to: the_saved_model/assets
# Inspect the SavedModel in the directory
ls -l the_saved_model
total 24
drwxr-sr-x 2 kbuilder kokoro  4096 Jun  3 01:23 assets
-rw-rw-r-- 1 kbuilder kokoro 14343 Jun  3 01:23 saved_model.pb
drwxr-sr-x 2 kbuilder kokoro  4096 Jun  3 01:23 variables
# The variables/ directory contains a checkpoint of the variables
ls -l the_saved_model/variables
total 8
-rw-rw-r-- 1 kbuilder kokoro 408 Jun  3 01:23 variables.data-00000-of-00001
-rw-rw-r-- 1 kbuilder kokoro 356 Jun  3 01:23 variables.index

saved_model.pbファイルは、機能的なtf.Graphを記述するプロトコル バッファtf.Graph

モデルとレイヤーは、それを作成したクラスのインスタンスを実際に作成することなく、この表現からロードできます。これは、大規模なサービスやエッジ デバイスでの提供など、Python インタープリターがない (または必要ない) 状況、または元の Python コードが利用できないか、使用するのが現実的でない状況で望ましいことです。

モデルを新しいオブジェクトとしてロードできます。

new_model = tf.saved_model.load("the_saved_model")

new_model 、保存されたモデルをロードから作成され、クラスの知識の任意ことなく内部TensorFlowユーザオブジェクトです。 SequentialModuleタイプではありません。

isinstance(new_model, SequentialModule)
False

この新しいモデルは、定義済みの入力署名で機能します。このように復元されたモデルに署名を追加することはできません。

print(my_model([[2.0, 2.0, 2.0]]))
print(my_model([[[2.0, 2.0, 2.0], [2.0, 2.0, 2.0]]]))
tf.Tensor([[0. 0.]], shape=(1, 2), dtype=float32)
tf.Tensor(
[[[0. 0.]
  [0. 0.]]], shape=(1, 2, 2), dtype=float32)

したがって、 SavedModelを使用すると、 SavedModelを使用して TensorFlow の重みとグラフをtf.Module 、それらを再度読み込むことができます。

Keras モデルとレイヤー

この時点まで、Keras については言及されていないことに注意してください。 tf.Module上に独自の高レベル API を構築することができます。

このセクションでは、 tf.Moduleをどのように使用するかを調べます。 Keras モデルの完全なユーザー ガイドは、 Keras ガイドにあります。

ケラス層

tf.keras.layers.Layerはすべてのtf.keras.layers.Layerの基本クラスであり、 tf.Moduleから継承していtf.Module

親を交換して__call__call変更するだけで、モジュールを Keras レイヤーに変換できcall

class MyDense(tf.keras.layers.Layer):
  # Adding **kwargs to support base Keras layer arguments
  def __init__(self, in_features, out_features, **kwargs):
    super().__init__(**kwargs)

    # This will soon move to the build step; see below
    self.w = tf.Variable(
      tf.random.normal([in_features, out_features]), name='w')
    self.b = tf.Variable(tf.zeros([out_features]), name='b')
  def call(self, x):
    y = tf.matmul(x, self.w) + self.b
    return tf.nn.relu(y)

simple_layer = MyDense(name="simple", in_features=3, out_features=3)

Keras レイヤーには独自の__call__があり、次のセクションで説明されているブックキーピングを実行してからcall()呼び出しcall() 。機能に変更はありません。

simple_layer([[2.0, 2.0, 2.0]])
<tf.Tensor: shape=(1, 3), dtype=float32, numpy=array([[2.1559088, 0.       , 0.       ]], dtype=float32)>

buildステップ

前述のように、多くの場合、入力形状が確定するまで変数の作成を待機すると便利です。

Keras レイヤーには、レイヤーの定義方法をより柔軟にする追加のライフサイクル ステップが付属しています。これはbuild関数で定義されます。

buildは 1 回だけ呼び出され、入力の形状で呼び出されます。通常、変数 (重み) を作成するために使用されます。

上記のMyDenseレイヤーをその入力のサイズに柔軟に書き換えることができます。

class FlexibleDense(tf.keras.layers.Layer):
  # Note the added `**kwargs`, as Keras supports many arguments
  def __init__(self, out_features, **kwargs):
    super().__init__(**kwargs)
    self.out_features = out_features

  def build(self, input_shape):  # Create the state of the layer (weights)
    self.w = tf.Variable(
      tf.random.normal([input_shape[-1], self.out_features]), name='w')
    self.b = tf.Variable(tf.zeros([self.out_features]), name='b')

  def call(self, inputs):  # Defines the computation from inputs to outputs
    return tf.matmul(inputs, self.w) + self.b

# Create the instance of the layer
flexible_dense = FlexibleDense(out_features=3)

この時点では、モデルは構築されていないため、変数はありません。

flexible_dense.variables
[]

関数を呼び出すと、適切なサイズの変数が割り当てられます。

# Call it, with predictably random results
print("Model results:", flexible_dense(tf.constant([[2.0, 2.0, 2.0], [3.0, 3.0, 3.0]])))
Model results: tf.Tensor(
[[ 2.704015   -0.16195035 -6.261377  ]
 [ 4.0560226  -0.24292576 -9.392065  ]], shape=(2, 3), dtype=float32)
flexible_dense.variables
[<tf.Variable 'flexible_dense/w:0' shape=(3, 3) dtype=float32, numpy=
 array([[-0.27628487,  0.13671786, -1.6931149 ],
        [ 1.4245744 , -1.238444  , -0.17901585],
        [ 0.20371802,  1.0207509 , -1.2585577 ]], dtype=float32)>,
 <tf.Variable 'flexible_dense/b:0' shape=(3,) dtype=float32, numpy=array([0., 0., 0.], dtype=float32)>]

buildは一度しか呼び出されないため、入力形状がレイヤーの変数と互換性がない場合、入力は拒否されます。

try:
  print("Model results:", flexible_dense(tf.constant([[2.0, 2.0, 2.0, 2.0]])))
except tf.errors.InvalidArgumentError as e:
  print("Failed:", e)
Failed: In[0] mismatch In[1] shape: 4 vs. 3: [1,4] [3,3] 0 0 [Op:MatMul]

Keras レイヤーには、次のような多くの追加機能があります。

  • オプション損失
  • 指標のサポート
  • トレーニングと推論の使用を区別するためのオプションのtraining引数の組み込みサポート
  • Python でモデルのクローンを作成できるように構成を正確に保存できるget_configおよびfrom_configメソッド

カスタム レイヤーとモデルの完全ガイドでそれらについて読んでください。

Keras モデル

モデルをネストされた Keras レイヤーとして定義できます。

ただし、 tf.keras.Modelと呼ばれるフル機能のモデル クラスも提供します。これはtf.keras.layers.Layerから継承するため、 tf.keras.layers.Layerモデルはtf.keras.layers.Layerレイヤーと同じ方法で使用、ネスト、および保存できます。 Keras モデルには、トレーニング、評価、ロード、保存、さらには複数のマシンでのトレーニングを簡単にする追加の機能が付属しています。

上からSequentialModuleをほぼ同じコードで定義し、再度__call__call()変換して親を変更できます。

class MySequentialModel(tf.keras.Model):
  def __init__(self, name=None, **kwargs):
    super().__init__(**kwargs)

    self.dense_1 = FlexibleDense(out_features=3)
    self.dense_2 = FlexibleDense(out_features=2)
  def call(self, x):
    x = self.dense_1(x)
    return self.dense_2(x)

# You have made a Keras model!
my_sequential_model = MySequentialModel(name="the_model")

# Call it on a tensor, with random results
print("Model results:", my_sequential_model(tf.constant([[2.0, 2.0, 2.0]])))
Model results: tf.Tensor([[2.1485283 8.22457  ]], shape=(1, 2), dtype=float32)

追跡変数やサブモジュールなど、すべての同じ機能を使用できます。

my_sequential_model.variables
[<tf.Variable 'my_sequential_model/flexible_dense_1/w:0' shape=(3, 3) dtype=float32, numpy=
 array([[-1.35451   , -0.40638027, -0.40394917],
        [ 2.3224106 , -0.85175407, -1.6010288 ],
        [-0.5603658 , -0.3443388 ,  1.1965553 ]], dtype=float32)>,
 <tf.Variable 'my_sequential_model/flexible_dense_1/b:0' shape=(3,) dtype=float32, numpy=array([0., 0., 0.], dtype=float32)>,
 <tf.Variable 'my_sequential_model/flexible_dense_2/w:0' shape=(3, 2) dtype=float32, numpy=
 array([[ 2.0412993 , -0.30181855],
        [-0.54148334, -2.0181963 ],
        [ 0.77354205, -1.2384381 ]], dtype=float32)>,
 <tf.Variable 'my_sequential_model/flexible_dense_2/b:0' shape=(2,) dtype=float32, numpy=array([0., 0.], dtype=float32)>]
my_sequential_model.submodules
(<__main__.FlexibleDense at 0x7fc9a0b9fe90>,
 <__main__.FlexibleDense at 0x7fc9a1109590>)

tf.keras.Modelオーバーライドは、TensorFlow モデルを構築するための非常に Python 的なアプローチです。他のフレームワークからモデルを移行する場合、これは非常に簡単です。

既存のレイヤーと入力の単純な集合であるモデルを構築している場合、モデルの再構築とアーキテクチャに関する追加機能を備えた関数型 APIを使用することで、時間とスペースを節約できます。

これは、関数型 API を使用した同じモデルです。

inputs = tf.keras.Input(shape=[3,])

x = FlexibleDense(3)(inputs)
x = FlexibleDense(2)(x)

my_functional_model = tf.keras.Model(inputs=inputs, outputs=x)

my_functional_model.summary()
Model: "model"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_1 (InputLayer)         [(None, 3)]               0         
_________________________________________________________________
flexible_dense_3 (FlexibleDe (None, 3)                 12        
_________________________________________________________________
flexible_dense_4 (FlexibleDe (None, 2)                 8         
=================================================================
Total params: 20
Trainable params: 20
Non-trainable params: 0
_________________________________________________________________
my_functional_model(tf.constant([[2.0, 2.0, 2.0]]))
<tf.Tensor: shape=(1, 2), dtype=float32, numpy=array([[-1.8865316, -3.926752 ]], dtype=float32)>

ここでの主な違いは、入力形状が機能構築プロセスの一部として事前に指定されることです。この場合のinput_shape引数は完全に指定する必要はありません。一部のディメンションはNoneままにすることができます。

Keras モデルの保存

Keras モデルはチェックポイントを設定でき、それはtf.Moduleと同じようにtf.Moduleます。

Keras モデルはモジュールであるため、 tf.saved_model.save()で保存することもできます。ただし、Keras モデルには便利なメソッドとその他の機能があります。

my_sequential_model.save("exname_of_file")
INFO:tensorflow:Assets written to: exname_of_file/assets

同様に簡単に、次の場所にロードし直すことができます。

reconstructed_model = tf.keras.models.load_model("exname_of_file")
WARNING:tensorflow:No training configuration found in save file, so the model was *not* compiled. Compile it manually.

SavedModelsは、メトリック、損失、およびオプティマイザーの状態も保存します。

この再構築されたモデルは使用でき、同じデータで呼び出されたときに同じ結果を生成します。

reconstructed_model(tf.constant([[2.0, 2.0, 2.0]]))
<tf.Tensor: shape=(1, 2), dtype=float32, numpy=array([[2.1485283, 8.22457  ]], dtype=float32)>

機能をサポートするためのカスタム レイヤーの構成方法の提供など、Keras モデルの保存とシリアル化について知っておくべきことがたくさんあります。保存とシリアル化ガイドを確認してください

次は何ですか

Keras について詳しく知りたい場合は、既存の Keras ガイドを参照してください

tf.module上に構築された高レベル API の別の例は、DeepMind の Sonnet です。これは、彼らのサイトでカバーされています