GRUBlockCell

1 बार कदम के लिए जीआरयू सेल फॉरवर्ड प्रोपेगेशन की गणना करता है।

Args x: GRU सेल में इनपुट। h_prev: पिछले जीआरयू सेल से राज्य इनपुट। w_ru: रीसेट और अपडेट गेट के लिए वेट मैट्रिक्स। w_c: सेल कनेक्शन गेट के लिए वेट मैट्रिक्स। b_ru: रीसेट और अपडेट गेट के लिए बायस वेक्टर। b_c: सेल कनेक्शन गेट के लिए बायस वेक्टर।

रिटर्न r: रीसेट गेट का आउटपुट। यू: अपडेट गेट का आउटपुट। c: सेल कनेक्शन गेट का आउटपुट। h: GRU सेल की वर्तमान स्थिति।

चर के अंकन पर ध्यान दें:

a और b का संयोजन a_b द्वारा दर्शाया गया है a और b का तत्व-वार डॉट उत्पाद ab द्वारा दर्शाया गया है तत्व-वार डॉट उत्पाद \circ द्वारा दर्शाया गया है मैट्रिक्स गुणन द्वारा दर्शाया गया है *

पूर्वाग्रहों को इसके साथ आरंभ किया जाता है: `b_ru` - निरंतर_इनिशियलाइज़र (1.0) `b_c` - निरंतर_इनिशियलाइज़र (0.0)

कर्नल सेशन लागू करता निम्नलिखित गणितीय समीकरण:

x_h_prev = [x, h_prev]
 
 [r_bar u_bar] = x_h_prev * w_ru + b_ru
 
 r = sigmoid(r_bar)
 u = sigmoid(u_bar)
 
 h_prevr = h_prev \circ r
 
 x_h_prevr = [x h_prevr]
 
 c_bar = x_h_prevr * w_c + b_c
 c = tanh(c_bar)
 
 h = (1-u) \circ c + u \circ h_prev