Generowanie tekstu za pomocą RNN

Zobacz na TensorFlow.org Uruchom w Google Colab Wyświetl źródło na GitHub Pobierz notatnik

Ten samouczek pokazuje, jak generować tekst za pomocą RNN opartego na znakach. Będziesz pracować w zbiorze pisania Szekspira od Andrej Karpathy za nadmierną skuteczności nawracających Neural Networks . Mając sekwencję znaków z tych danych („Shakespear”), wytrenuj model, aby przewidywał następny znak w sekwencji („e”). Dłuższe sekwencje tekstu można wygenerować przez wielokrotne wywoływanie modelu.

Ten poradnik zawiera kod runnable realizowany za pomocą tf.keras i chętny wykonanie . Poniżej przedstawiono przykładowe dane wyjściowe, gdy model w tym samouczku został przeszkolony dla 30 epok i rozpoczął się od znaku zachęty „Q”:

QUEENE:
I had thought thou hadst a Roman; for the oracle,
Thus by All bids the man against the word,
Which are so weak of care, by old care done;
Your children were in your holy love,
And the precipitation through the bleeding throne.

BISHOP OF ELY:
Marry, and will, my lord, to weep in such a one were prettiest;
Yet now I was adopted heir
Of the world's lamentable day,
To watch the next way with his father with his face?

ESCALUS:
The cause why then we are all resolved more sons.

VOLUMNIA:
O, no, no, no, no, no, no, no, no, no, no, no, no, no, no, no, no, no, no, no, no, it is no sin it should be dead,
And love and pale as any will to that word.

QUEEN ELIZABETH:
But how long have I heard the soul for this world,
And show his hands of life be proved to stand.

PETRUCHIO:
I say he look'd on, if I must be content
To stay him from the fatal of our country's bliss.
His lordship pluck'd from this sentence then for prey,
And then let us twain, being the moon,
were she such a case as fills m

Podczas gdy niektóre zdania są gramatyczne, większość nie ma sensu. Model nie nauczył się znaczenia słów, ale rozważ:

  • Model jest oparty na postaciach. Kiedy rozpoczęło się szkolenie, model nie wiedział, jak przeliterować angielskie słowo, ani że słowa były nawet jednostką tekstu.

  • Struktura danych wyjściowych przypomina odtwarzanie — bloki tekstu zwykle zaczynają się od nazwiska mówcy, pisanego wielkimi literami, podobnie jak w zbiorze danych.

  • Jak pokazano poniżej, model jest szkolony na małych partiach tekstu (100 znaków każda) i nadal jest w stanie wygenerować dłuższą sekwencję tekstu o spójnej strukturze.

Organizować coś

Importuj TensorFlow i inne biblioteki

import tensorflow as tf
from tensorflow.keras.layers.experimental import preprocessing

import numpy as np
import os
import time

Pobierz zbiór danych Szekspira

Zmień następujący wiersz, aby uruchomić ten kod na własnych danych.

path_to_file = tf.keras.utils.get_file('shakespeare.txt', 'https://storage.googleapis.com/download.tensorflow.org/data/shakespeare.txt')
Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/shakespeare.txt
1122304/1115394 [==============================] - 0s 0us/step
1130496/1115394 [==============================] - 0s 0us/step

Przeczytaj dane

Najpierw spójrz w tekście:

# Read, then decode for py2 compat.
text = open(path_to_file, 'rb').read().decode(encoding='utf-8')
# length of text is the number of characters in it
print(f'Length of text: {len(text)} characters')
Length of text: 1115394 characters
# Take a look at the first 250 characters in text
print(text[:250])
First Citizen:
Before we proceed any further, hear me speak.

All:
Speak, speak.

First Citizen:
You are all resolved rather to die than to famish?

All:
Resolved. resolved.

First Citizen:
First, you know Caius Marcius is chief enemy to the people.
# The unique characters in the file
vocab = sorted(set(text))
print(f'{len(vocab)} unique characters')
65 unique characters

Przetwórz tekst

Wektoryzuj tekst

Przed szkoleniem musisz przekonwertować ciągi na reprezentację liczbową.

preprocessing.StringLookup warstwa może przekształcić każdy znak do numerycznego identyfikatora. Wystarczy najpierw podzielić tekst na tokeny.

example_texts = ['abcdefg', 'xyz']

chars = tf.strings.unicode_split(example_texts, input_encoding='UTF-8')
chars
2021-08-11 18:24:53.295402: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:937] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
2021-08-11 18:24:53.303654: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:937] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
2021-08-11 18:24:53.304580: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:937] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
2021-08-11 18:24:53.306209: I tensorflow/core/platform/cpu_feature_guard.cc:142] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  AVX2 AVX512F FMA
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2021-08-11 18:24:53.306828: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:937] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
2021-08-11 18:24:53.307802: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:937] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
2021-08-11 18:24:53.308798: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:937] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
2021-08-11 18:24:53.896425: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:937] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
2021-08-11 18:24:53.897329: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:937] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
2021-08-11 18:24:53.898198: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:937] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
2021-08-11 18:24:53.899171: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1510] Created device /job:localhost/replica:0/task:0/device:GPU:0 with 14648 MB memory:  -> device: 0, name: Tesla V100-SXM2-16GB, pci bus id: 0000:00:05.0, compute capability: 7.0
<tf.RaggedTensor [[b'a', b'b', b'c', b'd', b'e', b'f', b'g'], [b'x', b'y', b'z']]>

Teraz utworzyć preprocessing.StringLookup warstwy:

ids_from_chars = preprocessing.StringLookup(
    vocabulary=list(vocab), mask_token=None)

Konwertuje tokeny formularzy na identyfikatory znaków:

ids = ids_from_chars(chars)
ids
<tf.RaggedTensor [[40, 41, 42, 43, 44, 45, 46], [63, 64, 65]]>

Ponieważ celem tego samouczka jest wygenerowanie tekstu, ważne będzie również odwrócenie tej reprezentacji i odzyskanie z niej ciągów czytelnych dla człowieka. W tym celu można użyć preprocessing.StringLookup(..., invert=True) .

chars_from_ids = tf.keras.layers.experimental.preprocessing.StringLookup(
    vocabulary=ids_from_chars.get_vocabulary(), invert=True, mask_token=None)

Warstwa ta odzyskuje symbole z identyfikatorów wektorów, i zwraca jako tf.RaggedTensor postaci:

chars = chars_from_ids(ids)
chars
<tf.RaggedTensor [[b'a', b'b', b'c', b'd', b'e', b'f', b'g'], [b'x', b'y', b'z']]>

Można tf.strings.reduce_join dołączyć znaki z powrotem do strun.

tf.strings.reduce_join(chars, axis=-1).numpy()
array([b'abcdefg', b'xyz'], dtype=object)
def text_from_ids(ids):
  return tf.strings.reduce_join(chars_from_ids(ids), axis=-1)

Zadanie przewidywania

Jaki jest najbardziej prawdopodobny następny znak przy danym znaku lub sekwencji znaków? To jest zadanie, do wykonania którego uczysz model. Dane wejściowe do modelu będą sekwencją znaków, a model jest wytrenowany w celu przewidywania danych wyjściowych — następujący znak w każdym kroku czasowym.

Ponieważ RNN utrzymują stan wewnętrzny, który zależy od poprzednio widzianych elementów, biorąc pod uwagę wszystkie znaki obliczone do tego momentu, jaki jest następny znak?

Twórz przykłady i cele treningowe

Następnie podziel tekst na przykładowe sekwencje. Każda sekwencja wejściowa będzie zawierać seq_length znaki z tekstu.

Dla każdej sekwencji wejściowej odpowiednie cele zawierają tę samą długość tekstu, z wyjątkiem przesunięcia o jeden znak w prawo.

Więc podzielić tekst na kawałki seq_length+1 . Na przykład, powiedzmy seq_length wynosi 4, a nasz tekst jest „Hello”. Sekwencją wejściową byłoby „Hell”, a sekwencją docelową „ello”.

Aby to zrobić, najpierw użyć tf.data.Dataset.from_tensor_slices funkcji do konwersji tekstu do wektora strumienia indeksów znaków.

all_ids = ids_from_chars(tf.strings.unicode_split(text, 'UTF-8'))
all_ids
<tf.Tensor: shape=(1115394,), dtype=int64, numpy=array([19, 48, 57, ..., 46,  9,  1])>
ids_dataset = tf.data.Dataset.from_tensor_slices(all_ids)
for ids in ids_dataset.take(10):
    print(chars_from_ids(ids).numpy().decode('utf-8'))
F
i
r
s
t
 
C
i
t
i
seq_length = 100
examples_per_epoch = len(text)//(seq_length+1)

batch metoda pozwala łatwo przekonwertować te poszczególne znaki z sekwencjami o pożądanej wielkości.

sequences = ids_dataset.batch(seq_length+1, drop_remainder=True)

for seq in sequences.take(1):
  print(chars_from_ids(seq))
tf.Tensor(
[b'F' b'i' b'r' b's' b't' b' ' b'C' b'i' b't' b'i' b'z' b'e' b'n' b':'
 b'\n' b'B' b'e' b'f' b'o' b'r' b'e' b' ' b'w' b'e' b' ' b'p' b'r' b'o'
 b'c' b'e' b'e' b'd' b' ' b'a' b'n' b'y' b' ' b'f' b'u' b'r' b't' b'h'
 b'e' b'r' b',' b' ' b'h' b'e' b'a' b'r' b' ' b'm' b'e' b' ' b's' b'p'
 b'e' b'a' b'k' b'.' b'\n' b'\n' b'A' b'l' b'l' b':' b'\n' b'S' b'p' b'e'
 b'a' b'k' b',' b' ' b's' b'p' b'e' b'a' b'k' b'.' b'\n' b'\n' b'F' b'i'
 b'r' b's' b't' b' ' b'C' b'i' b't' b'i' b'z' b'e' b'n' b':' b'\n' b'Y'
 b'o' b'u' b' '], shape=(101,), dtype=string)

Łatwiej jest zobaczyć, co to robi, jeśli połączysz tokeny z powrotem w ciągi:

for seq in sequences.take(5):
  print(text_from_ids(seq).numpy())
b'First Citizen:\nBefore we proceed any further, hear me speak.\n\nAll:\nSpeak, speak.\n\nFirst Citizen:\nYou '
b'are all resolved rather to die than to famish?\n\nAll:\nResolved. resolved.\n\nFirst Citizen:\nFirst, you k'
b"now Caius Marcius is chief enemy to the people.\n\nAll:\nWe know't, we know't.\n\nFirst Citizen:\nLet us ki"
b"ll him, and we'll have corn at our own price.\nIs't a verdict?\n\nAll:\nNo more talking on't; let it be d"
b'one: away, away!\n\nSecond Citizen:\nOne word, good citizens.\n\nFirst Citizen:\nWe are accounted poor citi'

Za szkolenie trzeba zestawu danych o (input, label) par. Gdzie input i label są sekwencje. W każdym kroku wprowadzany jest bieżący znak, a etykieta kolejny znak.

Oto funkcja, która pobiera sekwencję jako dane wejściowe, duplikuje i przesuwa ją, aby wyrównać dane wejściowe i etykietę dla każdego kroku czasowego:

def split_input_target(sequence):
    input_text = sequence[:-1]
    target_text = sequence[1:]
    return input_text, target_text
split_input_target(list("Tensorflow"))
(['T', 'e', 'n', 's', 'o', 'r', 'f', 'l', 'o'],
 ['e', 'n', 's', 'o', 'r', 'f', 'l', 'o', 'w'])
dataset = sequences.map(split_input_target)
for input_example, target_example in dataset.take(1):
    print("Input :", text_from_ids(input_example).numpy())
    print("Target:", text_from_ids(target_example).numpy())
Input : b'First Citizen:\nBefore we proceed any further, hear me speak.\n\nAll:\nSpeak, speak.\n\nFirst Citizen:\nYou'
Target: b'irst Citizen:\nBefore we proceed any further, hear me speak.\n\nAll:\nSpeak, speak.\n\nFirst Citizen:\nYou '
2021-08-11 18:24:54.893532: I tensorflow/compiler/mlir/mlir_graph_optimization_pass.cc:185] None of the MLIR Optimization Passes are enabled (registered 2)

Twórz partie treningowe

Użyłeś tf.data podzielić tekst do opanowania sekwencji. Jednak przed wprowadzeniem tych danych do modelu należy je przetasować i spakować w partiach.

# Batch size
BATCH_SIZE = 64

# Buffer size to shuffle the dataset
# (TF data is designed to work with possibly infinite sequences,
# so it doesn't attempt to shuffle the entire sequence in memory. Instead,
# it maintains a buffer in which it shuffles elements).
BUFFER_SIZE = 10000

dataset = (
    dataset
    .shuffle(BUFFER_SIZE)
    .batch(BATCH_SIZE, drop_remainder=True)
    .prefetch(tf.data.experimental.AUTOTUNE))

dataset
<PrefetchDataset shapes: ((64, 100), (64, 100)), types: (tf.int64, tf.int64)>

Zbuduj model

Ta sekcja definiuje model jako keras.Model podklasy (Po szczegóły patrz Tworzenie nowych warstw i modeli poprzez instacji ).

Ten model ma trzy warstwy:

  • tf.keras.layers.Embedding : Warstwa wejściowego. Nadający się do szkolenia tablicę przeglądową, która będzie mapować każdy znak-ID do wektora z embedding_dim wymiarach;
  • tf.keras.layers.GRU : Typ RNN z wielkości units=rnn_units (Można również użyć warstwę LSTM tutaj).
  • tf.keras.layers.Dense : Warstwa wyjście z vocab_size wyjść. Wyprowadza jeden logit na każdy znak w słowniku. Są to prawdopodobieństwo logarytmiczne każdej postaci zgodnie z modelem.
# Length of the vocabulary in chars
vocab_size = len(vocab)

# The embedding dimension
embedding_dim = 256

# Number of RNN units
rnn_units = 1024
class MyModel(tf.keras.Model):
  def __init__(self, vocab_size, embedding_dim, rnn_units):
    super().__init__(self)
    self.embedding = tf.keras.layers.Embedding(vocab_size, embedding_dim)
    self.gru = tf.keras.layers.GRU(rnn_units,
                                   return_sequences=True,
                                   return_state=True)
    self.dense = tf.keras.layers.Dense(vocab_size)

  def call(self, inputs, states=None, return_state=False, training=False):
    x = inputs
    x = self.embedding(x, training=training)
    if states is None:
      states = self.gru.get_initial_state(x)
    x, states = self.gru(x, initial_state=states, training=training)
    x = self.dense(x, training=training)

    if return_state:
      return x, states
    else:
      return x
model = MyModel(
    # Be sure the vocabulary size matches the `StringLookup` layers.
    vocab_size=len(ids_from_chars.get_vocabulary()),
    embedding_dim=embedding_dim,
    rnn_units=rnn_units)

Dla każdego znaku model wyszukuje osadzanie, uruchamia GRU w jednym kroku czasowym z osadzaniem jako danymi wejściowymi i stosuje gęstą warstwę do generowania logitów przewidujących prawdopodobieństwo dziennika następnego znaku:

Rysunek danych przechodzących przez model

Wypróbuj model

Teraz uruchom model, aby zobaczyć, że zachowuje się zgodnie z oczekiwaniami.

Najpierw sprawdź kształt wyjścia:

for input_example_batch, target_example_batch in dataset.take(1):
    example_batch_predictions = model(input_example_batch)
    print(example_batch_predictions.shape, "# (batch_size, sequence_length, vocab_size)")
2021-08-11 18:24:57.345541: I tensorflow/stream_executor/cuda/cuda_dnn.cc:369] Loaded cuDNN version 8100
(64, 100, 66) # (batch_size, sequence_length, vocab_size)

W powyższym przykładzie, długość sekwencji jest na wejściu 100 a model może być prowadzony na składniki o dowolnej długości:

model.summary()
Model: "my_model"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
embedding (Embedding)        multiple                  16896     
_________________________________________________________________
gru (GRU)                    multiple                  3938304   
_________________________________________________________________
dense (Dense)                multiple                  67650     
=================================================================
Total params: 4,022,850
Trainable params: 4,022,850
Non-trainable params: 0
_________________________________________________________________

Aby uzyskać rzeczywiste przewidywania z modelu, musisz pobrać próbkę z rozkładu wyjściowego, aby uzyskać rzeczywiste indeksy znaków. Ten rozkład jest określony przez logity w słowniku znaków.

Wypróbuj pierwszy przykład w partii:

sampled_indices = tf.random.categorical(example_batch_predictions[0], num_samples=1)
sampled_indices = tf.squeeze(sampled_indices, axis=-1).numpy()

To daje nam, na każdym kroku, przewidywanie następnego indeksu znaku:

sampled_indices
array([41, 38,  9, 28,  6, 50, 20, 59, 44,  5, 51, 19, 40, 61, 13, 18, 32,
        0, 13,  0, 27, 37, 10, 46, 38, 40, 28, 22, 14, 44, 35, 22, 44, 16,
       17,  8, 55, 17, 39, 47, 47, 23,  3, 32, 30, 15, 10, 32,  8,  8,  3,
       47, 40, 38, 13,  5, 57, 12, 39,  5,  6, 14, 30, 12, 63, 51, 10, 14,
       52,  1, 47, 15, 48, 28, 38, 16, 22,  7, 59, 45, 44, 62, 23, 32, 36,
       40, 28, 65, 60,  7,  8,  0, 19, 28, 32, 62, 61, 20, 64,  6])

Odkoduj je, aby zobaczyć tekst przewidywany przez ten niewytrenowany model:

print("Input:\n", text_from_ids(input_example_batch[0]).numpy())
print()
print("Next Char Predictions:\n", text_from_ids(sampled_indices).numpy())
Input:
 b'ous, and not valiant, you have shamed me\nIn your condemned seconds.\n\nCOMINIUS:\nIf I should tell thee'

Next Char Predictions:
 b"bY.O'kGte&lFav?ES[UNK]?[UNK]NX3gYaOIAeVIeCD-pDZhhJ!SQB3S--!haY?&r;Z&'AQ;xl3Am\nhBiOYCI,tfewJSWaOzu,-[UNK]FOSwvGy'"

Trenuj modelkę

W tym momencie problem można potraktować jako standardowy problem klasyfikacyjny. Biorąc pod uwagę poprzedni stan RNN i dane wejściowe w tym kroku czasowym, należy przewidzieć klasę następnego znaku.

Dołącz optymalizator i funkcję straty

Średnia tf.keras.losses.sparse_categorical_crossentropy funkcja straty działa w tym przypadku, ponieważ jest stosowane w całej ostatniej wymiaru przewidywaniami.

Ponieważ model powraca logits, trzeba ustawić from_logits flagę.

loss = tf.losses.SparseCategoricalCrossentropy(from_logits=True)
example_batch_loss = loss(target_example_batch, example_batch_predictions)
mean_loss = example_batch_loss.numpy().mean()
print("Prediction shape: ", example_batch_predictions.shape, " # (batch_size, sequence_length, vocab_size)")
print("Mean loss:        ", mean_loss)
Prediction shape:  (64, 100, 66)  # (batch_size, sequence_length, vocab_size)
Mean loss:         4.191435

Nowo zainicjowany model nie powinien być zbyt pewny siebie, wszystkie logity wyjściowe powinny mieć podobne wielkości. Aby to potwierdzić, możesz sprawdzić, czy wykładnicza średniej utraty jest w przybliżeniu równa wielkości słownictwa. Znacznie wyższa strata oznacza, że ​​model jest pewny swoich błędnych odpowiedzi i jest źle zainicjowany:

tf.exp(mean_loss).numpy()
66.11759

Konfigurować procedurę szkolenia pomocą tf.keras.Model.compile metody. Użyj tf.keras.optimizers.Adam z domyślnych argumentów i funkcji strat.

model.compile(optimizer='adam', loss=loss)

Skonfiguruj punkty kontrolne

Użyj tf.keras.callbacks.ModelCheckpoint aby upewnić się, że punkty kontrolne są zapisywane podczas szkolenia:

# Directory where the checkpoints will be saved
checkpoint_dir = './training_checkpoints'
# Name of the checkpoint files
checkpoint_prefix = os.path.join(checkpoint_dir, "ckpt_{epoch}")

checkpoint_callback = tf.keras.callbacks.ModelCheckpoint(
    filepath=checkpoint_prefix,
    save_weights_only=True)

Przeprowadź szkolenie

Aby czas trenowania był rozsądny, użyj 10 epok do trenowania modelu. W Colab ustaw środowisko wykonawcze na GPU, aby przyspieszyć szkolenie.

EPOCHS = 20
history = model.fit(dataset, epochs=EPOCHS, callbacks=[checkpoint_callback])
Epoch 1/20
172/172 [==============================] - 6s 23ms/step - loss: 2.7361
Epoch 2/20
172/172 [==============================] - 5s 23ms/step - loss: 2.0067
Epoch 3/20
172/172 [==============================] - 5s 23ms/step - loss: 1.7364
Epoch 4/20
172/172 [==============================] - 5s 23ms/step - loss: 1.5729
Epoch 5/20
172/172 [==============================] - 5s 23ms/step - loss: 1.4700
Epoch 6/20
172/172 [==============================] - 5s 23ms/step - loss: 1.4000
Epoch 7/20
172/172 [==============================] - 5s 23ms/step - loss: 1.3465
Epoch 8/20
172/172 [==============================] - 5s 23ms/step - loss: 1.3007
Epoch 9/20
172/172 [==============================] - 5s 23ms/step - loss: 1.2610
Epoch 10/20
172/172 [==============================] - 5s 23ms/step - loss: 1.2223
Epoch 11/20
172/172 [==============================] - 5s 23ms/step - loss: 1.1842
Epoch 12/20
172/172 [==============================] - 5s 23ms/step - loss: 1.1460
Epoch 13/20
172/172 [==============================] - 5s 23ms/step - loss: 1.1055
Epoch 14/20
172/172 [==============================] - 5s 23ms/step - loss: 1.0626
Epoch 15/20
172/172 [==============================] - 5s 24ms/step - loss: 1.0170
Epoch 16/20
172/172 [==============================] - 5s 23ms/step - loss: 0.9692
Epoch 17/20
172/172 [==============================] - 5s 23ms/step - loss: 0.9181
Epoch 18/20
172/172 [==============================] - 5s 23ms/step - loss: 0.8670
Epoch 19/20
172/172 [==============================] - 5s 23ms/step - loss: 0.8143
Epoch 20/20
172/172 [==============================] - 5s 23ms/step - loss: 0.7647

Generuj tekst

Najprostszym sposobem wygenerowania tekstu za pomocą tego modelu jest uruchomienie go w pętli i śledzenie wewnętrznego stanu modelu podczas jego wykonywania.

Aby wygenerować tekst, dane wyjściowe modelu są przekazywane z powrotem do danych wejściowych

Za każdym razem, gdy wywołujesz model, przekazujesz jakiś tekst i stan wewnętrzny. Model zwraca prognozę dla następnego znaku i jego nowego stanu. Przekaż prognozę i stan z powrotem, aby kontynuować generowanie tekstu.

Poniżej znajduje się przewidywanie jednoetapowe:

class OneStep(tf.keras.Model):
  def __init__(self, model, chars_from_ids, ids_from_chars, temperature=1.0):
    super().__init__()
    self.temperature = temperature
    self.model = model
    self.chars_from_ids = chars_from_ids
    self.ids_from_chars = ids_from_chars

    # Create a mask to prevent "[UNK]" from being generated.
    skip_ids = self.ids_from_chars(['[UNK]'])[:, None]
    sparse_mask = tf.SparseTensor(
        # Put a -inf at each bad index.
        values=[-float('inf')]*len(skip_ids),
        indices=skip_ids,
        # Match the shape to the vocabulary
        dense_shape=[len(ids_from_chars.get_vocabulary())])
    self.prediction_mask = tf.sparse.to_dense(sparse_mask)

  @tf.function
  def generate_one_step(self, inputs, states=None):
    # Convert strings to token IDs.
    input_chars = tf.strings.unicode_split(inputs, 'UTF-8')
    input_ids = self.ids_from_chars(input_chars).to_tensor()

    # Run the model.
    # predicted_logits.shape is [batch, char, next_char_logits]
    predicted_logits, states = self.model(inputs=input_ids, states=states,
                                          return_state=True)
    # Only use the last prediction.
    predicted_logits = predicted_logits[:, -1, :]
    predicted_logits = predicted_logits/self.temperature
    # Apply the prediction mask: prevent "[UNK]" from being generated.
    predicted_logits = predicted_logits + self.prediction_mask

    # Sample the output logits to generate token IDs.
    predicted_ids = tf.random.categorical(predicted_logits, num_samples=1)
    predicted_ids = tf.squeeze(predicted_ids, axis=-1)

    # Convert from token ids to characters
    predicted_chars = self.chars_from_ids(predicted_ids)

    # Return the characters and model state.
    return predicted_chars, states
one_step_model = OneStep(model, chars_from_ids, ids_from_chars)

Uruchom go w pętli, aby wygenerować jakiś tekst. Patrząc na wygenerowany tekst, zobaczysz, że model wie, kiedy pisać wielkimi literami, tworzyć akapity i imitować szekspirowskie słownictwo. Przy niewielkiej liczbie epok treningowych nie nauczył się jeszcze formułować spójnych zdań.

start = time.time()
states = None
next_char = tf.constant(['ROMEO:'])
result = [next_char]

for n in range(1000):
  next_char, states = one_step_model.generate_one_step(next_char, states=states)
  result.append(next_char)

result = tf.strings.join(result)
end = time.time()
print(result[0].numpy().decode('utf-8'), '\n\n' + '_'*80)
print('\nRun time:', end - start)
ROMEO:
It is a very example
Here done to Elcompash of her griefs, wherein Choise,
Without my enemy; you are o'er this scene
Thoughts that sown'd off to have a sufficient mon
hath made it on the people, break our case:
Who inciddst the hour, think you be gone?

MENENIUS:
For what I see, I doubt there was more periol to their friends?

GLOUCESTER:
Have you not hear? the senate pass down forth,
Countenance, prefermants, devised in courtezage,
Of it at punishes, and cry batter King Henry's use!

JULIET:
If they did I but last; I say to thir,
And fly: my vooking in those thing, it brings;
After an act, may stand in my foe instant?

FRIAR LAURENCE:
So much upon the serving-creature.

Second Katharinan,
Save you this young father, news, will kiss
your honour to a covert fance to Farcius' blaze is expiled
till choose and call the foem of cheer himself.
Not so deliver, for this night shall be a cut-out
Yourselfs; as the flowers cannot no: what he pleg-son,
As the pay to her heavy, marches?

MARCIUS:
 

________________________________________________________________________________

Run time: 2.3087921142578125

Najłatwiej można zrobić, aby poprawić wyniki jest przygotowanie go do dłuższych (spróbuj EPOCHS = 30 ).

Możesz także poeksperymentować z innym ciągiem początkowym, spróbować dodać kolejną warstwę RNN, aby poprawić dokładność modelu, lub dostosować parametr temperatury, aby wygenerować mniej lub bardziej losowe prognozy.

Jeśli chcesz model aby wygenerować tekst szybciej najłatwiej można zrobić, to partia pokolenie tekst. W poniższym przykładzie model generuje 5 wyników w mniej więcej tym samym czasie, jaki zajęło wygenerowanie 1 powyżej.

start = time.time()
states = None
next_char = tf.constant(['ROMEO:', 'ROMEO:', 'ROMEO:', 'ROMEO:', 'ROMEO:'])
result = [next_char]

for n in range(1000):
  next_char, states = one_step_model.generate_one_step(next_char, states=states)
  result.append(next_char)

result = tf.strings.join(result)
end = time.time()
print(result, '\n\n' + '_'*80)
print('\nRun time:', end - start)
tf.Tensor(
[b"ROMEO:\nIt is my daughter, whom thou hast, no, no, what many which ho\ncaused for fear. Then?\n\nFirst Citizen:\nCousin of Buckingham, and therefore wast thou thin,\nBy Jove her thunder, not on him.\n\nFLORIZEL:\nMy lord,\nYou never spow him so perform her life;\nBut had thought the wanted counsel on the world,\nThe baid of old tale from him by foes,\nLike all forms, he doth not the duke well for herself.\nThe sons and fam is strucken murder;\nAnd bless he shall not be long.\nWhereto he better nothing, by the east,\nWas factionary against Exeter!\n\nHERMION:\nWhere is your pain? hings in a soldier.\n\nShepherd:\n'Tis south; I will not go by this; he loves' me\nThough noble Contro's shump.\n\nAEdile:\nHe's sudden; tood my friends are too sun\nPat on him an embastiest York by day, my liege,\nProfesses to follow Marcius.\n\nCOMINIUS:\nIt was come to us!\nBut, our queen, those weeping pay the formers any other;\nAnon even he should seem to dry.\n\nHESS OF YORK:\nMy lord, he both be so farther,\nBut 'tis as banish'd from the mind of "
 b"ROMEO:\nIt is spoke for triumphant garly, fis\nFresh out my daughter and the deed-joy\njeasons that I was lost innation and eyes from the\nthy glims.\n\nFROTH:\nHere comes this way, and sellow'd for and\nspeechange; cry 'D; inchance his down and with the or-house,\nWhere indeed the sedicing scholarging disdains\nDrows you.\n\nAlipan:\nWhere's Clifford; we will confess too,\nOr, by this song, nor pray now what I did\nHer uncle Rivers stands you to take away;\nBut in the like known thereof discresed at his\nheart wept humble as a pitch'd any right.\nWhereto I, 'Hill Henry, and you, my lord,\nKnow't again by Angelo, the head maid\nFalse to another scorns thus daring for\nAn angry ay angry. Veriling you\nThan which you are heart, gave war nor none within;\nTell he that first wretched to her dower, though it begin.\n\nDUKE VINCENTIO:\nWhere is Aufidius sister? how much factos loath\nto pride: King Richard in Bianco's singing.\n\nMARIANA:\nWhy art thou harst: for, to retire yourself\nTo County many thousand humble stains.\nSawnt"
 b"ROMEO:\nSatisfy!\nThink'st thou hast thou out of true applace: throw away\nThe rather for incapab-torment.\n\nGLoUCESTER:\nSo Gaunt in Eye wrong'd, belike.\n\nQUEEN:\n'Tis little friend, thou couldst know; mencle, Clifford.\nDid ut up the flesh; the sons and blubter\nTannot countervail the conquest of thyself.\nBut how must be a king, as hideous ass\nShould you go's assural trembling adjer!\nWhy shall deserve you but assuar their\ncoats of such persons to be your castle.\nCondemning soul to him and heir more than\nHer sups, moresely three women\none and a hongy: you have like his curediar,\nAnd chase him in the infirmine breachs.\n\nKING EDWARD IV:\nCansault thou son? She's a word.\n\nSICINIUS:\nThis shows assurance how the house of love\nLidst both our subjects as the senate's death;\nSoce thou consent to bitter, by the way to life\nBut my entity to give I agree:\nHield!\n\nBUCKINGHAM:\nMy lord, this last out with our complexions\nCherish rooted distapsups and call folls.\n\nLADY ANNE:\nWere he that wonders to us all the chan"
 b"ROMEO:\nI pray you, gentlemen.\n\nJULIET:\nMy lord, gath nothing in Padua for a\npiece of cut as a horseman I please;\nI'll follow what we speak again of love,\nIs broke an oath from false for me.\n\nGLOUCESTER:\nWell, jost ignorant of despite of my grief;\nAnd thus I pity three thou wast born.\n\nQUEEN ELIZABETH:\nWhy have you not done, Henry's coming smiles,\n'Tis like one inferious vengeance condemn'd\nBy Heavens and noblence foldying\nto her honour. what he comes long eate?\n\nHASTINGS:\nGo, get thee even to thus, that flies;\nI would adont the royally out of dist;\nAnd thus I turn and much since that make fair\nSun with such finger in quiet wnat, and Sariant\nShould have been either queen.\n\nISABELLA:\nPetruchio! Who is is the supper venge.\n\nSecond Murderer:\nO looken soul!\n\nA Forders, Earl of Clarence,--here is coming him.\n\nHORTENSIO:\nSay, when you saw you shall bectwary.\n\nCOMINIUS:\nYou have fought it the elder, the\nson: xishonour here the soretire passing slaves.\nAnd in his tidly I brought my good deed,\nAre nev"
 b"ROMEO:\nVillanted the blood reign purpose\nnot more and she would quench it. Should Such a\npentinus lipt from worth of charity.\nHow can we fing it, like a drum of me?\nSpeak, tending, O, how can I have seen your\nsaids, lest the hirs weeping earth, one shall\nIn such as you to bitter, but we east for King of\nThe pretties of his officer: yet your bey,\nThe curn'd deputy nexty. Tybalt, that's\nunfortunage, take this poor delivers to a friend,\nAnd grief hath kept in sign of knotking note.\nWelcome! Saint yet Murderer: to this scoldif cares\nThat I have not in my desire.\nNay, what will you such things prevent it, hands.\n\nKING RICHARD II:\nHow now, by thee!\n\nCLAUDIO:\nNo, good father.\n\nDUKE VINCENTIO:\nHow now, is gone to Raptatur, add, took fortune between\nmy life for time put forth parture most straitle queen's.\n\nHENRY BOLINGBROKE:\nUrge in any, unhappy by this news,\nWhilst thou lies She not remain, as if\nher fortune is not so rise report the queen?\n\nGLOUCESTER:\nStand up, Oncring me?\n\nLADYARAN:\n\nHERMIONE:\nN"], shape=(5,), dtype=string) 

________________________________________________________________________________

Run time: 2.1990060806274414

Wyeksportuj generator

Ten model jednoetapowy może być łatwo zapisane i przywrócone , dzięki czemu można go używać wszędzie, gdzie tf.saved_model jest akceptowana.

tf.saved_model.save(one_step_model, 'one_step')
one_step_reloaded = tf.saved_model.load('one_step')
WARNING:tensorflow:Skipping full serialization of Keras layer <__main__.OneStep object at 0x7fdfad429d90>, because it is not built.
2021-08-11 18:26:53.785069: W tensorflow/python/util/util.cc:348] Sets are not currently considered sequences, but this may change in the future, so consider avoiding using them.
WARNING:absl:Found untraced functions such as gru_cell_layer_call_fn, gru_cell_layer_call_and_return_conditional_losses, gru_cell_layer_call_fn, gru_cell_layer_call_and_return_conditional_losses, gru_cell_layer_call_and_return_conditional_losses while saving (showing 5 of 5). These functions will not be directly callable after loading.
INFO:tensorflow:Assets written to: one_step/assets
INFO:tensorflow:Assets written to: one_step/assets
states = None
next_char = tf.constant(['ROMEO:'])
result = [next_char]

for n in range(100):
  next_char, states = one_step_reloaded.generate_one_step(next_char, states=states)
  result.append(next_char)

print(tf.strings.join(result)[0].numpy().decode("utf-8"))
ROMEO:
Be a booqued banish'd: sly us or old
Yeed Margaret: and therefore follow'd there?

BUCKINGHAM:
Why,

Zaawansowane: Indywidualne szkolenie

Powyższa procedura szkolenia jest prosta, ale nie daje dużej kontroli. Wykorzystuje wymuszane przez nauczyciela, co zapobiega przekazywaniu złych prognoz do modelu, dzięki czemu model nigdy nie nauczy się regenerować po błędach.

Teraz, gdy już wiesz, jak uruchomić model ręcznie, zaimplementujesz pętlę treningową. To daje punkt wyjścia, jeśli na przykład chcesz wprowadzić naukę nauczania, aby pomóc ustabilizować produkcję w otwartej pętli modelu.

Najważniejszą częścią niestandardowej pętli treningowej jest funkcja kroku treningu.

Użyj tf.GradientTape śledzić gradienty. Możesz dowiedzieć się więcej na temat tego podejścia czytając chętny instrukcji wykonania .

Podstawowa procedura to:

  1. Wykonanie modelu i obliczyć straty pod tf.GradientTape .
  2. Oblicz aktualizacje i zastosuj je do modelu za pomocą optymalizatora.
class CustomTraining(MyModel):
  @tf.function
  def train_step(self, inputs):
      inputs, labels = inputs
      with tf.GradientTape() as tape:
          predictions = self(inputs, training=True)
          loss = self.loss(labels, predictions)
      grads = tape.gradient(loss, model.trainable_variables)
      self.optimizer.apply_gradients(zip(grads, model.trainable_variables))

      return {'loss': loss}

Powyższa realizacja train_step metody następuje Keras' train_step konwencje . To nie jest obowiązkowe, ale pozwala na zmianę zachowania kroku kolejowego i nadal korzystać Keras' Model.compile i Model.fit metod.

model = CustomTraining(
    vocab_size=len(ids_from_chars.get_vocabulary()),
    embedding_dim=embedding_dim,
    rnn_units=rnn_units)
model.compile(optimizer = tf.keras.optimizers.Adam(),
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True))
model.fit(dataset, epochs=1)
172/172 [==============================] - 7s 23ms/step - loss: 2.7296
<keras.callbacks.History at 0x7fdfad7bf090>

A jeśli potrzebujesz większej kontroli, możesz napisać własną, niestandardową pętlę treningową:

EPOCHS = 10

mean = tf.metrics.Mean()

for epoch in range(EPOCHS):
    start = time.time()

    mean.reset_states()
    for (batch_n, (inp, target)) in enumerate(dataset):
        logs = model.train_step([inp, target])
        mean.update_state(logs['loss'])

        if batch_n % 50 == 0:
            template = f"Epoch {epoch+1} Batch {batch_n} Loss {logs['loss']:.4f}"
            print(template)

    # saving (checkpoint) the model every 5 epochs
    if (epoch + 1) % 5 == 0:
        model.save_weights(checkpoint_prefix.format(epoch=epoch))

    print()
    print(f'Epoch {epoch+1} Loss: {mean.result().numpy():.4f}')
    print(f'Time taken for 1 epoch {time.time() - start:.2f} sec')
    print("_"*80)

model.save_weights(checkpoint_prefix.format(epoch=epoch))
Epoch 1 Batch 0 Loss 2.1729
Epoch 1 Batch 50 Loss 2.0531
Epoch 1 Batch 100 Loss 1.9573
Epoch 1 Batch 150 Loss 1.8028

Epoch 1 Loss: 1.9959
Time taken for 1 epoch 5.83 sec
________________________________________________________________________________
Epoch 2 Batch 0 Loss 1.8247
Epoch 2 Batch 50 Loss 1.7950
Epoch 2 Batch 100 Loss 1.7317
Epoch 2 Batch 150 Loss 1.6410

Epoch 2 Loss: 1.7202
Time taken for 1 epoch 5.28 sec
________________________________________________________________________________
Epoch 3 Batch 0 Loss 1.6101
Epoch 3 Batch 50 Loss 1.5863
Epoch 3 Batch 100 Loss 1.5252
Epoch 3 Batch 150 Loss 1.5194

Epoch 3 Loss: 1.5582
Time taken for 1 epoch 5.23 sec
________________________________________________________________________________
Epoch 4 Batch 0 Loss 1.4622
Epoch 4 Batch 50 Loss 1.4623
Epoch 4 Batch 100 Loss 1.4729
Epoch 4 Batch 150 Loss 1.4334

Epoch 4 Loss: 1.4580
Time taken for 1 epoch 5.30 sec
________________________________________________________________________________
Epoch 5 Batch 0 Loss 1.4144
Epoch 5 Batch 50 Loss 1.4157
Epoch 5 Batch 100 Loss 1.3952
Epoch 5 Batch 150 Loss 1.3634

Epoch 5 Loss: 1.3902
Time taken for 1 epoch 5.48 sec
________________________________________________________________________________
Epoch 6 Batch 0 Loss 1.3419
Epoch 6 Batch 50 Loss 1.3228
Epoch 6 Batch 100 Loss 1.3308
Epoch 6 Batch 150 Loss 1.3092

Epoch 6 Loss: 1.3365
Time taken for 1 epoch 5.22 sec
________________________________________________________________________________
Epoch 7 Batch 0 Loss 1.3353
Epoch 7 Batch 50 Loss 1.2958
Epoch 7 Batch 100 Loss 1.2993
Epoch 7 Batch 150 Loss 1.3049

Epoch 7 Loss: 1.2915
Time taken for 1 epoch 5.33 sec
________________________________________________________________________________
Epoch 8 Batch 0 Loss 1.2323
Epoch 8 Batch 50 Loss 1.2712
Epoch 8 Batch 100 Loss 1.2089
Epoch 8 Batch 150 Loss 1.2661

Epoch 8 Loss: 1.2513
Time taken for 1 epoch 5.21 sec
________________________________________________________________________________
Epoch 9 Batch 0 Loss 1.2154
Epoch 9 Batch 50 Loss 1.2268
Epoch 9 Batch 100 Loss 1.2334
Epoch 9 Batch 150 Loss 1.2292

Epoch 9 Loss: 1.2124
Time taken for 1 epoch 5.24 sec
________________________________________________________________________________
Epoch 10 Batch 0 Loss 1.1712
Epoch 10 Batch 50 Loss 1.1542
Epoch 10 Batch 100 Loss 1.1887
Epoch 10 Batch 150 Loss 1.2040

Epoch 10 Loss: 1.1734
Time taken for 1 epoch 5.56 sec
________________________________________________________________________________