GenerateVocabRemapping

Dato un percorso ai file di vocabolario nuovi e vecchi, restituisce un tensore di rimappatura di

lunghezza `num_new_vocab`, dove `remapping[i]` contiene il numero di riga nel vecchio vocabolario che corrisponde alla riga `i` nel nuovo vocabolario (a partire dalla riga `new_vocab_offset` e fino a `num_new_vocab` entità), o `- 1` se la voce "i" nel nuovo vocabolario non è nel vecchio vocabolario. Il vecchio vocabolario è vincolato alle prime voci `old_vocab_size` se `old_vocab_size` non è il valore predefinito di -1.

`num_vocab_offset` consente l'uso nel caso della variabile partizionata e generalmente dovrebbe essere impostato esaminando le informazioni sul partizionamento. Il formato dei file dovrebbe essere un file di testo, con ogni riga contenente una singola entità all'interno del vocabolario.

Ad esempio, con `new_vocab_file` un file di testo contenente ciascuno dei seguenti elementi su una singola riga: `[f0, f1, f2, f3]`, old_vocab_file = [f1, f0, f3], `num_new_vocab = 3, new_vocab_offset = 1", la rimappatura restituita sarebbe "[0, -1, 2]".

L'operazione restituisce anche un conteggio di quante voci nel nuovo vocabolario erano presenti nel vecchio vocabolario, che viene utilizzato per calcolare il numero di valori da inizializzare in una rimappatura della matrice dei pesi

Questa funzionalità può essere utilizzata per rimappare sia i vocabolari di riga (in genere, funzionalità) che i vocabolari di colonna (in genere, classi) dai checkpoint di TensorFlow. Si noti che la logica di partizionamento si basa su vocabolari contigui corrispondenti a variabili partizionate da div. Inoltre, la rimappatura sottostante utilizza una IndexTable (al contrario di una CuckooTable inesatta), quindi il codice client dovrebbe utilizzare la corrispondente index_table_from_file() come fa il framework FeatureColumn (al contrario di tf.feature_to_id(), che utilizza una CuckooTable).