 TensorFlow.org上に表示します |  Googleのコラボで実行します |  GitHubの上のソースを表示 |  ダウンロードノート |
この例では、我々はtensorflow-モデルのPIPパッケージを使用して微調整を通じてBERTモデルを動作します。
このチュートリアルでは、に基づいてpretrained BERTモデルもで提供されていますTensorFlowハブ 、それはを参照してください使用方法を確認するために、 ハブ付録
セットアップ
TensorFlowモデルガーデンピップパッケージをインストールします。
-
tf-models-nightly、毎日自動的に作成毎晩モデルガーデンパッケージです。 - ピップは、自動的にすべてのモデルとの依存関係をインストールします。
pip install -q tf-nightlypip install -q tf-models-nightly
輸入
import os
import numpy as np
import matplotlib.pyplot as plt
import tensorflow as tf
import tensorflow_hub as hub
import tensorflow_datasets as tfds
tfds.disable_progress_bar()
from official.modeling import tf_utils
from official import nlp
from official.nlp import bert
# Load the required submodules
import official.nlp.optimization
import official.nlp.bert.bert_models
import official.nlp.bert.configs
import official.nlp.bert.run_classifier
import official.nlp.bert.tokenization
import official.nlp.data.classifier_data_lib
import official.nlp.modeling.losses
import official.nlp.modeling.models
import official.nlp.modeling.networks
/tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_addons/utils/ensure_tf_install.py:44: UserWarning: You are currently using a nightly version of TensorFlow (2.3.0-dev20200623). TensorFlow Addons offers no support for the nightly versions of TensorFlow. Some things might work, some other might not. If you encounter a bug, do not file an issue on GitHub. UserWarning,
リソース
このディレクトリには、構成、語彙、およびこのチュートリアルで使用する前に訓練のチェックポイントが含まれています。
gs_folder_bert = "gs://cloud-tpu-checkpoints/bert/keras_bert/uncased_L-12_H-768_A-12"
tf.io.gfile.listdir(gs_folder_bert)
['bert_config.json', 'bert_model.ckpt.data-00000-of-00001', 'bert_model.ckpt.index', 'vocab.txt']
あなたはここにTensorFlowハブから事前に訓練されたBERTのエンコーダを得ることができます。
hub_url_bert = "https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/2"
データ
この例では、私たちが使用TFDSからGLUE MRPCデータセットを 。
このデータセットは、それが直接BERTモデルに供給することができるように設定するので、このセクションでは、必要な前処理を処理していません。
TensorFlowデータセットからのデータセットを取得します。
マイクロソフトリサーチ言い換えコーパス（ドーラン＆Brockett、2005）はペアの文章は意味的に等価であるかどうかについてのヒト注釈を自動的にオンラインのニュースソースから抽出された文のペアのコーパスです。
- ラベルの数：2。
- トレーニングデータセットのサイズ：3668。
- 評価データセットのサイズ：408。
- トレーニングや評価データセットの最大配列の長さ：128。
glue, info = tfds.load('glue/mrpc', with_info=True,
# It's small, load the whole dataset
batch_size=-1)
Downloading and preparing dataset glue/mrpc/1.0.0 (download: 1.43 MiB, generated: Unknown size, total: 1.43 MiB) to /home/kbuilder/tensorflow_datasets/glue/mrpc/1.0.0... /usr/lib/python3/dist-packages/urllib3/connectionpool.py:860: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings InsecureRequestWarning) /usr/lib/python3/dist-packages/urllib3/connectionpool.py:860: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings InsecureRequestWarning) /usr/lib/python3/dist-packages/urllib3/connectionpool.py:860: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings InsecureRequestWarning) Shuffling and writing examples to /home/kbuilder/tensorflow_datasets/glue/mrpc/1.0.0.incomplete1RTRDK/glue-train.tfrecord Shuffling and writing examples to /home/kbuilder/tensorflow_datasets/glue/mrpc/1.0.0.incomplete1RTRDK/glue-validation.tfrecord Shuffling and writing examples to /home/kbuilder/tensorflow_datasets/glue/mrpc/1.0.0.incomplete1RTRDK/glue-test.tfrecord Dataset glue downloaded and prepared to /home/kbuilder/tensorflow_datasets/glue/mrpc/1.0.0. Subsequent calls will reuse this data.
list(glue.keys())
['test', 'train', 'validation']
infoオブジェクトは、データセットを記述し、それが機能です。
info.features
FeaturesDict({
'idx': tf.int32,
'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
'sentence1': Text(shape=(), dtype=tf.string),
'sentence2': Text(shape=(), dtype=tf.string),
})
2つのクラスは、次のとおりです。
info.features['label'].names
['not_equivalent', 'equivalent']
ここではトレーニングセットからの一例は以下のとおりです。
glue_train = glue['train']
for key, value in glue_train.items():
print(f"{key:9s}: {value[0].numpy()}")
idx : 1680 label : 0 sentence1: b'The identical rovers will act as robotic geologists , searching for evidence of past water .' sentence2: b'The rovers act as robotic geologists , moving on six wheels .'
BERTトークナイザ
ファインチューンに事前に訓練されたモデルは、あなたはあなたが訓練中に使用されるようにまったく同じトークン化、語彙、およびインデックスマッピングを使用していることを確認する必要があります。
このチュートリアルで使用するBERTのトークナイザは、（それがTensorFlowオプスのうち建てていない）純粋なPythonで書かれています。だから、同じようにあなたのモデルにプラグインすることはできませんkeras.layerあなたがでできるようにpreprocessing.TextVectorization 。
次のコードは、ベースモデルによって使用されたトークナイザを再構築します：
# Set up tokenizer to generate Tensorflow dataset
tokenizer = bert.tokenization.FullTokenizer(
vocab_file=os.path.join(gs_folder_bert, "vocab.txt"),
do_lower_case=True)
print("Vocab size:", len(tokenizer.vocab))
Vocab size: 30522
文をトークン化：
tokens = tokenizer.tokenize("Hello TensorFlow!")
print(tokens)
ids = tokenizer.convert_tokens_to_ids(tokens)
print(ids)
['hello', 'tensor', '##flow', '!'] [7592, 23435, 12314, 999]
前処理を行い、データ
セクションは、手動モデルによって予想される形式にデータセットを前処理しました。
前処理はメモリに迅速かつ容易に行うことができるように、このデータセットは、小さいです。大規模データセットのtf_modelsライブラリーは、前処理およびデータセットを再シリアライズするためのいくつかのツールが含まれています。参照してください。 再エンコード大きなデータセット：付録詳細を。
文章をエンコード
モデルは、その2つの入力文を一緒に連結することを期待しています。この入力はで開始すると予想される[CLS]トークン「これは、分類問題である」、及び各文で終わるべきである[SEP] 「セパレータ」トークン。
tokenizer.convert_tokens_to_ids(['[CLS]', '[SEP]'])
[101, 102]
追加しているときは、すべての文章をコードすることにより、スタート[SEP]トークンを、そしてぼろテンソルにそれらを包装：
def encode_sentence(s):
tokens = list(tokenizer.tokenize(s.numpy()))
tokens.append('[SEP]')
return tokenizer.convert_tokens_to_ids(tokens)
sentence1 = tf.ragged.constant([
encode_sentence(s) for s in glue_train["sentence1"]])
sentence2 = tf.ragged.constant([
encode_sentence(s) for s in glue_train["sentence2"]])
print("Sentence1 shape:", sentence1.shape.as_list())
print("Sentence2 shape:", sentence2.shape.as_list())
Sentence1 shape: [3668, None] Sentence2 shape: [3668, None]
今先頭に追加[CLS]トークン、及び単形成する不規則テンソルを連結input_word_ids各例えばテンソル。 RaggedTensor.to_tensor()最も長いシーケンスにゼロパッド。
cls = [tokenizer.convert_tokens_to_ids(['[CLS]'])]*sentence1.shape[0]
input_word_ids = tf.concat([cls, sentence1, sentence2], axis=-1)
_ = plt.pcolormesh(input_word_ids.to_tensor())
マスクと入力タイプ
モデルは、2つの追加入力を期待します：
- 入力マスク
- 入力タイプ
マスクは、コンテンツとパディングの間にきれいに区別するためにモデルを可能にします。マスクは、同じ形状持つinput_word_ids 、及び含ま1どこinput_word_idsパディングされていないことを。
input_mask = tf.ones_like(input_word_ids).to_tensor()
plt.pcolormesh(input_mask)
<matplotlib.collections.QuadMesh at 0x7f82246c0cf8>
「入力タイプ」も同じ形状を有するが、非パディング領域の内側に含ま0又は1トークンの一部である文を示します。
type_cls = tf.zeros_like(cls)
type_s1 = tf.zeros_like(sentence1)
type_s2 = tf.ones_like(sentence2)
input_type_ids = tf.concat([type_cls, type_s1, type_s2], axis=-1).to_tensor()
plt.pcolormesh(input_type_ids)
<matplotlib.collections.QuadMesh at 0x7f8224668438>
すべて一緒にそれを置きます
単一関数にコードを解析し、上記テキストを収集し、それぞれの分割に適用glue/mrpcセット。
def encode_sentence(s, tokenizer):
tokens = list(tokenizer.tokenize(s))
tokens.append('[SEP]')
return tokenizer.convert_tokens_to_ids(tokens)
def bert_encode(glue_dict, tokenizer):
num_examples = len(glue_dict["sentence1"])
sentence1 = tf.ragged.constant([
encode_sentence(s, tokenizer)
for s in np.array(glue_dict["sentence1"])])
sentence2 = tf.ragged.constant([
encode_sentence(s, tokenizer)
for s in np.array(glue_dict["sentence2"])])
cls = [tokenizer.convert_tokens_to_ids(['[CLS]'])]*sentence1.shape[0]
input_word_ids = tf.concat([cls, sentence1, sentence2], axis=-1)
input_mask = tf.ones_like(input_word_ids).to_tensor()
type_cls = tf.zeros_like(cls)
type_s1 = tf.zeros_like(sentence1)
type_s2 = tf.ones_like(sentence2)
input_type_ids = tf.concat(
[type_cls, type_s1, type_s2], axis=-1).to_tensor()
inputs = {
'input_word_ids': input_word_ids.to_tensor(),
'input_mask': input_mask,
'input_type_ids': input_type_ids}
return inputs
glue_train = bert_encode(glue['train'], tokenizer)
glue_train_labels = glue['train']['label']
glue_validation = bert_encode(glue['validation'], tokenizer)
glue_validation_labels = glue['validation']['label']
glue_test = bert_encode(glue['test'], tokenizer)
glue_test_labels = glue['test']['label']
データの各サブセットは、機能の辞書、およびラベルのセットに変換されています。入力辞書内の各特徴は、同一の形状を有しており、ラベルの数は一致する必要があります。
for key, value in glue_train.items():
print(f'{key:15s} shape: {value.shape}')
print(f'glue_train_labels shape: {glue_train_labels.shape}')
input_word_ids shape: (3668, 103) input_mask shape: (3668, 103) input_type_ids shape: (3668, 103) glue_train_labels shape: (3668,)
モデル
モデルの構築
最初のステップは、事前に訓練されたモデルのコンフィギュレーションをダウンロードすることです。
import json
bert_config_file = os.path.join(gs_folder_bert, "bert_config.json")
config_dict = json.loads(tf.io.gfile.GFile(bert_config_file).read())
bert_config = bert.configs.BertConfig.from_dict(config_dict)
config_dict
{'attention_probs_dropout_prob': 0.1,
'hidden_act': 'gelu',
'hidden_dropout_prob': 0.1,
'hidden_size': 768,
'initializer_range': 0.02,
'intermediate_size': 3072,
'max_position_embeddings': 512,
'num_attention_heads': 12,
'num_hidden_layers': 12,
'type_vocab_size': 2,
'vocab_size': 30522}
configコアの出力を予測するKerasモデルであるBERTモデル、定義num_classes最大の系列長を有する入力からmax_seq_length 。
この関数は、エンコーダと分類器の両方を返します。
bert_classifier, bert_encoder = bert.bert_models.classifier_model(
bert_config, num_labels=2)
分類器は3つの入力と1つの出力があります。
tf.keras.utils.plot_model(bert_classifier, show_shapes=True, dpi=48)
データトレーニングセットからの10例の試験バッチでそれを実行します。出力は、2つのクラスのlogitsです。
glue_batch = {key: val[:10] for key, val in glue_train.items()}
bert_classifier(
glue_batch, training=True
).numpy()
array([[ 0.05488977, -0.26042116],
[ 0.11358108, -0.09727937],
[ 0.14350253, -0.2465629 ],
[ 0.2775127 , -0.09028438],
[ 0.3606584 , -0.17138724],
[ 0.3287397 , -0.14672714],
[ 0.18621178, -0.13080403],
[ 0.21898738, 0.10716071],
[ 0.18413854, -0.13491377],
[ 0.20307963, -0.05396855]], dtype=float32)
TransformerEncoder分類器の中心には、上記で bert_encoder 。
エンコーダを検査、我々は、そのスタックを参照Transformer層は、それらの同じ3つの入力に接続しました：
tf.keras.utils.plot_model(bert_encoder, show_shapes=True, dpi=48)
エンコーダの重みを復元します。
構築されたときにエンコーダがランダムに初期化されます。チェックポイントからエンコーダの重みを復元します。
checkpoint = tf.train.Checkpoint(model=bert_encoder)
checkpoint.restore(
os.path.join(gs_folder_bert, 'bert_model.ckpt')).assert_consumed()
<tensorflow.python.training.tracking.util.CheckpointLoadStatus at 0x7f8242dadc88>
オプティマイザを設定します
BERTは、（「別名重量崩壊とアダム・オプティマイザを採用AdamW 」）。また、最初に0から温まるし、その後0に減衰することを学習率スケジュールを採用しています。
# Set up epochs and steps
epochs = 3
batch_size = 32
eval_batch_size = 32
train_data_size = len(glue_train_labels)
steps_per_epoch = int(train_data_size / batch_size)
num_train_steps = steps_per_epoch * epochs
warmup_steps = int(epochs * train_data_size * 0.1 / batch_size)
# creates an optimizer with learning rate schedule
optimizer = nlp.optimization.create_optimizer(
2e-5, num_train_steps=num_train_steps, num_warmup_steps=warmup_steps)
この戻りAdamWeightDecay学習率のスケジュールを設定したオプティマイザ：
type(optimizer)
official.nlp.optimization.AdamWeightDecay
オプティマイザとそれのスケジュールをカスタマイズする方法の例を参照するには、参照オプティマイザスケジュール付録を 。
モデルのトレーニング
メトリックは精度であり、我々は損失としてまばらなカテゴリのクロスエントロピーを使用しています。
metrics = [tf.keras.metrics.SparseCategoricalAccuracy('accuracy', dtype=tf.float32)]
loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)
bert_classifier.compile(
optimizer=optimizer,
loss=loss,
metrics=metrics)
bert_classifier.fit(
glue_train, glue_train_labels,
validation_data=(glue_validation, glue_validation_labels),
batch_size=32,
epochs=epochs)
Epoch 1/3 115/115 [==============================] - 25s 218ms/step - loss: 0.7047 - accuracy: 0.6101 - val_loss: 0.5219 - val_accuracy: 0.7181 Epoch 2/3 115/115 [==============================] - 24s 210ms/step - loss: 0.5068 - accuracy: 0.7560 - val_loss: 0.5047 - val_accuracy: 0.7794 Epoch 3/3 115/115 [==============================] - 24s 209ms/step - loss: 0.3812 - accuracy: 0.8332 - val_loss: 0.4839 - val_accuracy: 0.8137 <tensorflow.python.keras.callbacks.History at 0x7f82107c8cf8>
今、それが動作することを確認するためにカスタムの一例に微調整モデルを実行します。
いくつかの文のペアを符号化することにより起動します。
my_examples = bert_encode(
glue_dict = {
'sentence1':[
'The rain in Spain falls mainly on the plain.',
'Look I fine tuned BERT.'],
'sentence2':[
'It mostly rains on the flat lands of Spain.',
'Is it working? This does not match.']
},
tokenizer=tokenizer)
モデルは、クラス報告すべき1最初の例とクラスの「一致」を0秒「非マッチ」：
result = bert_classifier(my_examples, training=False)
result = tf.argmax(result).numpy()
result
array([1, 0])
np.array(info.features['label'].names)[result]
array(['equivalent', 'not_equivalent'], dtype='<U14')
モデルの保存
多くの場合、モデルのトレーニングの目標は、とてもモデルをエクスポートし、それが動作することを確認するためにそれを復元、何かのためにそれを使用することです。
export_dir='./saved_model'
tf.saved_model.save(bert_classifier, export_dir=export_dir)
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/tracking/tracking.py:111: Model.state_updates (from tensorflow.python.keras.engine.training) is deprecated and will be removed in a future version. Instructions for updating: This property should not be used in TensorFlow 2.0, as updates are applied automatically. Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/tracking/tracking.py:111: Model.state_updates (from tensorflow.python.keras.engine.training) is deprecated and will be removed in a future version. Instructions for updating: This property should not be used in TensorFlow 2.0, as updates are applied automatically. Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/tracking/tracking.py:111: Layer.updates (from tensorflow.python.keras.engine.base_layer) is deprecated and will be removed in a future version. Instructions for updating: This property should not be used in TensorFlow 2.0, as updates are applied automatically. Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/tracking/tracking.py:111: Layer.updates (from tensorflow.python.keras.engine.base_layer) is deprecated and will be removed in a future version. Instructions for updating: This property should not be used in TensorFlow 2.0, as updates are applied automatically. INFO:tensorflow:Assets written to: ./saved_model/assets INFO:tensorflow:Assets written to: ./saved_model/assets
reloaded = tf.saved_model.load(export_dir)
reloaded_result = reloaded([my_examples['input_word_ids'],
my_examples['input_mask'],
my_examples['input_type_ids']], training=False)
original_result = bert_classifier(my_examples, training=False)
# The results are (nearly) identical:
print(original_result.numpy())
print()
print(reloaded_result.numpy())
[[-1.1238481 0.92107666] [ 0.35722053 -0.4061358 ]] [[-1.1238478 0.9210764 ] [ 0.35722044 -0.40613574]]
付録
大きなデータセットを再符号化
このチュートリアル明確にするため、メモリ内のデータセットを再エンコードされました。
これはのみ可能であったglue/mrpc非常に小さいデータセットです。大きなデータセットを処理するためにtf_modelsライブラリーは、効率的なトレーニングのためのデータセットを処理し、再エンコードするためのいくつかのツールが含まれています。
最初のステップは、形質転換すべきデータセットの特徴を記述することです。
processor = nlp.data.classifier_data_lib.TfdsProcessor(
tfds_params="dataset=glue/mrpc,text_key=sentence1,text_b_key=sentence2",
process_text_fn=bert.tokenization.convert_to_unicode)
次に、新しいTFRecordファイルを生成するための変換を適用します。
# Set up output of training and evaluation Tensorflow dataset
train_data_output_path="./mrpc_train.tf_record"
eval_data_output_path="./mrpc_eval.tf_record"
max_seq_length = 128
batch_size = 32
eval_batch_size = 32
# Generate and save training data into a tf record file
input_meta_data = (
nlp.data.classifier_data_lib.generate_tf_record_from_data_file(
processor=processor,
data_dir=None, # It is `None` because data is from tfds, not local dir.
tokenizer=tokenizer,
train_data_output_path=train_data_output_path,
eval_data_output_path=eval_data_output_path,
max_seq_length=max_seq_length))
最後に作成tf.dataそれらTFRecordファイルからの入力パイプラインを：
training_dataset = bert.run_classifier.get_dataset_fn(
train_data_output_path,
max_seq_length,
batch_size,
is_training=True)()
evaluation_dataset = bert.run_classifier.get_dataset_fn(
eval_data_output_path,
max_seq_length,
eval_batch_size,
is_training=False)()
得tf.data.Datasets返す(features, labels)によって予想されるように、対をkeras.Model.fit 。
training_dataset.element_spec
({'input_word_ids': TensorSpec(shape=(32, 128), dtype=tf.int32, name=None),
'input_mask': TensorSpec(shape=(32, 128), dtype=tf.int32, name=None),
'input_type_ids': TensorSpec(shape=(32, 128), dtype=tf.int32, name=None)},
TensorSpec(shape=(32,), dtype=tf.int32, name=None))
トレーニングと評価のためのtf.data.Datasetを作成します。
あなたは、データのロードを変更する必要がある場合は、ここであなたが始めるためにいくつかのコードは次のとおりです。
def create_classifier_dataset(file_path, seq_length, batch_size, is_training):
"""Creates input dataset from (tf)records files for train/eval."""
dataset = tf.data.TFRecordDataset(file_path)
if is_training:
dataset = dataset.shuffle(100)
dataset = dataset.repeat()
def decode_record(record):
name_to_features = {
'input_ids': tf.io.FixedLenFeature([seq_length], tf.int64),
'input_mask': tf.io.FixedLenFeature([seq_length], tf.int64),
'segment_ids': tf.io.FixedLenFeature([seq_length], tf.int64),
'label_ids': tf.io.FixedLenFeature([], tf.int64),
}
return tf.io.parse_single_example(record, name_to_features)
def _select_data_from_record(record):
x = {
'input_word_ids': record['input_ids'],
'input_mask': record['input_mask'],
'input_type_ids': record['segment_ids']
}
y = record['label_ids']
return (x, y)
dataset = dataset.map(decode_record,
num_parallel_calls=tf.data.experimental.AUTOTUNE)
dataset = dataset.map(
_select_data_from_record,
num_parallel_calls=tf.data.experimental.AUTOTUNE)
dataset = dataset.batch(batch_size, drop_remainder=is_training)
dataset = dataset.prefetch(tf.data.experimental.AUTOTUNE)
return dataset
# Set up batch sizes
batch_size = 32
eval_batch_size = 32
# Return Tensorflow dataset
training_dataset = create_classifier_dataset(
train_data_output_path,
input_meta_data['max_seq_length'],
batch_size,
is_training=True)
evaluation_dataset = create_classifier_dataset(
eval_data_output_path,
input_meta_data['max_seq_length'],
eval_batch_size,
is_training=False)
training_dataset.element_spec
({'input_word_ids': TensorSpec(shape=(32, 128), dtype=tf.int64, name=None),
'input_mask': TensorSpec(shape=(32, 128), dtype=tf.int64, name=None),
'input_type_ids': TensorSpec(shape=(32, 128), dtype=tf.int64, name=None)},
TensorSpec(shape=(32,), dtype=tf.int64, name=None))
TFHub上TFModels BERT
あなたは得ることができますBERTモデルから既製品TFHubを 。この上に分類ヘッドを追加することは難しいことではないでしょうhub.KerasLayer
# Note: 350MB download.
import tensorflow_hub as hub
hub_encoder = hub.KerasLayer(hub_url_bert, trainable=True)
print(f"The Hub encoder has {len(hub_encoder.trainable_variables)} trainable variables")
The Hub encoder has 199 trainable variables
テストデータのバッチでそれを実行します。
result = hub_encoder(
inputs=[glue_train['input_word_ids'][:10],
glue_train['input_mask'][:10],
glue_train['input_type_ids'][:10],],
training=False,
)
print("Pooled output shape:", result[0].shape)
print("Sequence output shape:", result[1].shape)
Pooled output shape: (10, 768) Sequence output shape: (10, 103, 768)
この時点では、分類ヘッドを自分で追加することは簡単だろう。
bert_models.classifier_model機能もTensorFlowハブからのエンコーダに分類器を構築することができます。
hub_classifier, hub_encoder = bert.bert_models.classifier_model(
# Caution: Most of `bert_config` is ignored if you pass a hub url.
bert_config=bert_config, hub_module_url=hub_url_bert, num_labels=2)
TFHubからこのモデルをロードする1つの欠点は、内部keras層の構造が復元されないことです。だから、モデルを検査または変更することはより困難です。 TransformerEncoderモデルは、単層です。
tf.keras.utils.plot_model(hub_classifier, show_shapes=True, dpi=64)
try:
tf.keras.utils.plot_model(hub_encoder, show_shapes=True, dpi=64)
assert False
except Exception as e:
print(f"{type(e).__name__}: {e}")
AttributeError: 'KerasLayer' object has no attribute 'layers'
低レベルのモデル構築
あなたは、モデルの構築をより詳細に制御する必要がある場合、それは価値があることを指摘していますclassifier_model関数では、以前使用し、本当にオーバーだけ薄いラッパーですnlp.modeling.networks.TransformerEncoderとnlp.modeling.models.BertClassifierクラス。ちょうどあなたがアーキテクチャを変更し始める場合は、ゼロから再教育する必要がありますので、事前に訓練されたチェックポイントをリロードするには、正しいか、可能ではないかもしれないことを覚えておいてください。
エンコーダを構築します。
transformer_config = config_dict.copy()
# You need to rename a few fields to make this work:
transformer_config['attention_dropout_rate'] = transformer_config.pop('attention_probs_dropout_prob')
transformer_config['activation'] = tf_utils.get_activation(transformer_config.pop('hidden_act'))
transformer_config['dropout_rate'] = transformer_config.pop('hidden_dropout_prob')
transformer_config['initializer'] = tf.keras.initializers.TruncatedNormal(
stddev=transformer_config.pop('initializer_range'))
transformer_config['max_sequence_length'] = transformer_config.pop('max_position_embeddings')
transformer_config['num_layers'] = transformer_config.pop('num_hidden_layers')
transformer_config
{'hidden_size': 768,
'intermediate_size': 3072,
'num_attention_heads': 12,
'type_vocab_size': 2,
'vocab_size': 30522,
'attention_dropout_rate': 0.1,
'activation': <function official.modeling.activations.gelu.gelu(x)>,
'dropout_rate': 0.1,
'initializer': <tensorflow.python.keras.initializers.initializers_v2.TruncatedNormal at 0x7f81145cb3c8>,
'max_sequence_length': 512,
'num_layers': 12}
manual_encoder = nlp.modeling.networks.TransformerEncoder(**transformer_config)
重みを復元します。
checkpoint = tf.train.Checkpoint(model=manual_encoder)
checkpoint.restore(
os.path.join(gs_folder_bert, 'bert_model.ckpt')).assert_consumed()
<tensorflow.python.training.tracking.util.CheckpointLoadStatus at 0x7f813c336fd0>
テストはそれを実行します。
result = manual_encoder(my_examples, training=True)
print("Sequence output shape:", result[0].shape)
print("Pooled output shape:", result[1].shape)
Sequence output shape: (2, 23, 768) Pooled output shape: (2, 768)
分類器で包み：
manual_classifier = nlp.modeling.models.BertClassifier(
bert_encoder,
num_classes=2,
dropout_rate=transformer_config['dropout_rate'],
initializer=tf.keras.initializers.TruncatedNormal(
stddev=bert_config.initializer_range))
manual_classifier(my_examples, training=True).numpy()
array([[-0.22512403, 0.07213479],
[-0.21233292, 0.1311737 ]], dtype=float32)
オプティマイザとスケジュール
モデルを訓練するために使用オプティマイザを使用して作成されたnlp.optimization.create_optimizer機能を：
optimizer = nlp.optimization.create_optimizer(
2e-5, num_train_steps=num_train_steps, num_warmup_steps=warmup_steps)
学習率のスケジュールとオプティマイザアップハイレベルのラッパーが設定します。
ここで使用されるベース学習率スケジュールは、トレーニングランを超えるゼロに線形減衰です。
epochs = 3
batch_size = 32
eval_batch_size = 32
train_data_size = len(glue_train_labels)
steps_per_epoch = int(train_data_size / batch_size)
num_train_steps = steps_per_epoch * epochs
decay_schedule = tf.keras.optimizers.schedules.PolynomialDecay(
initial_learning_rate=2e-5,
decay_steps=num_train_steps,
end_learning_rate=0)
plt.plot([decay_schedule(n) for n in range(num_train_steps)])
[<matplotlib.lines.Line2D at 0x7f8115ab5320>]
これ、順番にに包まれているWarmUp直線的にトレーニングの最初の10％以上を目標値に学習率を増加させることを計画：
warmup_steps = num_train_steps * 0.1
warmup_schedule = nlp.optimization.WarmUp(
initial_learning_rate=2e-5,
decay_schedule_fn=decay_schedule,
warmup_steps=warmup_steps)
# The warmup overshoots, because it warms up to the `initial_learning_rate`
# following the original implementation. You can set
# `initial_learning_rate=decay_schedule(warmup_steps)` if you don't like the
# overshoot.
plt.plot([warmup_schedule(n) for n in range(num_train_steps)])
[<matplotlib.lines.Line2D at 0x7f81150c27f0>]
次に、作成nlp.optimization.AdamWeightDecay BERTモデル用に構成され、そのスケジュールを、使用しました：
optimizer = nlp.optimization.AdamWeightDecay(
learning_rate=warmup_schedule,
weight_decay_rate=0.01,
epsilon=1e-6,
exclude_from_weight_decay=['LayerNorm', 'layer_norm', 'bias'])