GenerateVocabRemapping

Yeni ve eski kelime dosyalarına giden bir yol verildiğinde, yeniden eşlenen Tensör değerini döndürür

uzunluk "num_new_vocab"; burada "remapping[i]", eski sözlükteki yeni sözlükteki "i" satırına karşılık gelen satır numarasını içerir ("new_vocab_offset" satırından başlayarak ve "num_new_vocab" öğelerine kadar) veya `- 1` eğer yeni sözlükteki 'i' girişi eski sözlükte değilse. Eğer 'eski_vocab_size' varsayılan değer -1 değilse, eski kelime dağarcığı ilk 'eski_vocab_boyutu' girdileriyle sınırlandırılır.

'num_vocab_offset', bölümlenmiş değişken durumunda kullanıma olanak sağlar ve genellikle bölümleme bilgisi incelenerek ayarlanmalıdır. Dosyaların formatı, her satırın sözlükte tek bir varlık içerdiği bir metin dosyası olmalıdır.

Örneğin, "yeni_vocab_dosyası" ile aşağıdaki öğelerin her birini tek bir satırda içeren bir metin dosyası: "[f0, f1, f2, f3]", eski_vocab_dosyası = [f1, f0, f3], "num_new_vocab = 3, new_vocab_offset = 1`, döndürülen yeniden eşleme `[0, -1, 2]` olacaktır.

Operasyon aynı zamanda eski sözlükte yeni sözcük dağarcığında kaç giriş bulunduğunun sayısını da döndürür; bu, bir ağırlık matrisi yeniden eşlemesinde başlatılacak değerlerin sayısını hesaplamak için kullanılır.

Bu işlevsellik, TensorFlow kontrol noktalarından hem satır sözcüklerini (tipik olarak özellikler) hem de sütun sözcüklerini (tipik olarak sınıfları) yeniden eşlemek için kullanılabilir. Bölümleme mantığının, div bölümlenmiş değişkenlere karşılık gelen bitişik sözlüklere dayandığını unutmayın. Ayrıca, temeldeki yeniden eşleme bir IndexTable kullanır (tam olmayan bir CuckooTable'ın aksine), bu nedenle istemci kodu, FeatureColumn çerçevesinin yaptığı gibi (CuckooTable kullanan tf.feature_to_id()'nin aksine) karşılık gelen index_table_from_file() öğesini kullanmalıdır.