सार्वजनिक अंतिम कक्षा XlaSendTPUEmbeddingGradients
एक ऑप जो एम्बेडिंग तालिकाओं का ग्रेडिएंट अपडेट करता है।
ग्रेडिएंट तर्क एक TensorList है जिसकी लंबाई और आकार XlaRecvTPUEmbeddingActivations के रिटर्न मान के समान है, लेकिन इसमें एम्बेडिंग सक्रियणों के संबंध में मॉडल के नुकसान के ग्रेडिएंट शामिल हैं। tpu.initialize_system को दिए गए TPUEmbeddingConfiguration प्रोटो में निर्दिष्ट ऑप्टिमाइज़र के माध्यम से एम्बेडिंग तालिकाओं को इन ग्रेडिएंट्स से अपडेट किया जाता है।
सार्वजनिक तरीके
| स्थिर XlaSendTPUEmbeddingGradients |
विरासत में मिली विधियाँ
सार्वजनिक तरीके
सार्वजनिक स्थैतिक XlaSendTPUEmbeddingGradients बनाएँ ( स्कोप स्कोप, Iterable< ऑपरेंड <Float>> ग्रेडिएंट्स, Iterable< ऑपरेंड <Float>> learnRates, ऑपरेंड <?> डिडुप्लीकेशन डेटा, स्ट्रिंग कॉन्फ़िगरेशन)
एक नए XlaSendTPUEmbeddingGradients ऑपरेशन को लपेटकर एक क्लास बनाने की फ़ैक्टरी विधि।
पैरामीटर
| दायरा | वर्तमान दायरा |
|---|---|
| ढ़ाल | ग्रेडिएंट्स की एक TensorList जिसके साथ एम्बेडिंग तालिकाओं को अद्यतन करना है। |
| सीखने की दरें | ऑप्टिमाइज़र के माध्यम से एम्बेडिंग तालिकाओं को अद्यतन करने के लिए सीखने की दरों की एक TensorList का उपयोग किया जाता है। TensorList की लंबाई TPUEmbeddingConfiguration प्रोटो में निर्दिष्ट गतिशील शिक्षण दर टैग की संख्या के बराबर होनी चाहिए। |
| डिडुप्लीकेशनडेटा | प्रकार=DT_VARIANT वाला एक टेंसर जिसमें डिडुप्लीकेशन डेटा होता है। टेंसर एक XLA नेस्टेड टपल है जिसमें N तत्व होते हैं (जहाँ N प्रति TPU चिप में टेंसर कोर की एम्बेडिंग की संख्या का अनुपात है)। नेस्टेड ट्यूपल का प्रत्येक तत्व रैंक 1 टेंसर का ट्यूपल है। प्रत्येक टेंसर में या तो TensorCore पर एम्बेडिंग लुकअप के लिए इंडेक्स (DT_UINT32) या एम्बेडिंग लुकअप ऑपरेशन के आउटपुट पर लागू करने के लिए वेट (DT_FLOAT) होते हैं। |
| कॉन्फ़िग | क्रमबद्ध टीपीयूएम्बेडिंगकॉन्फिगरेशन प्रोटो। |
रिटर्न
- XlaSendTPUEmbeddingGradients का एक नया उदाहरण