स्टोचैस्टिक डुअल कोऑर्डिनेट एसेंट (एसडीसीए) ऑप्टिमाइज़र का वितरित संस्करण
L1 + L2 नियमितीकरण के साथ रैखिक मॉडल। चूंकि वैश्विक अनुकूलन उद्देश्य दृढ़ता से उत्तल है, ऑप्टिमाइज़र प्रत्येक चरण में दोहरे उद्देश्य को अनुकूलित करता है। ऑप्टिमाइज़र प्रत्येक अद्यतन को एक समय में एक उदाहरण लागू करता है। उदाहरण समान रूप से नमूने लिए गए हैं, और अनुकूलक सीखने की दर मुक्त है और रैखिक अभिसरण दर का आनंद लेता है।
[प्रॉक्सिमल स्टोचैस्टिक डुअल कोऑर्डिनेट एसेंट](http://arxiv.org/pdf/1211.2717v1.pdf)।
शाई शैलेव-श्वार्ट्ज, टोंग झांग। 2012
$$Loss Objective = \sum f_{i} (wx_{i}) + (l2 / 2) * |w|^2 + l1 * |w|$$
[वितरित प्राइमल-डुअल ऑप्टिमाइज़ेशन में औसत बनाम जोड़ना](http://arxiv.org/abs/1502.03508)।
चेनक्सिन मा, वर्जीनिया स्मिथ, मार्टिन जग्गी, माइकल आई. जॉर्डन, पीटर रिचटारिक, मार्टिन टैकैक। 2015
[अनुकूली संभावनाओं के साथ स्टोचैस्टिक डुअल कोऑर्डिनेट एसेंट](https://arxiv.org/abs/1502.08053)।
डोमिनिक सीसिबा, झेंग क्व, पीटर रिचटारिक। 2015
नेस्टेड क्लासेस
| कक्षा | Sdcaऑप्टिमाइज़र.विकल्प | SdcaOptimizer के लिए वैकल्पिक विशेषताएँ | |
स्थिरांक
| डोरी | OP_NAME | इस ऑप का नाम, जैसा कि TensorFlow कोर इंजन द्वारा जाना जाता है |
सार्वजनिक तरीके
| स्थिर Sdcaऑप्टिमाइज़र.विकल्प | अनुकूली (बूलियन अनुकूली) |
| स्थिर एसडीसीएऑप्टिमाइज़र | बनाएं ( स्कोप स्कोप, Iterable < ऑपरेंड < TInt64 >> sparseExampleIndices, Iterable < ऑपरेंड < TInt64 >> sparseFeatureIndices, Iterable < ऑपरेंड < TFloat32 >> sparseFeatureValues, Iterable < ऑपरेंड < TFloat32 >> सघन फीचर्स, ऑपरेंड < TFloat32 > exampleWeights, ऑपरेंड < TFloat 32 > exampleLabels, Iterable < ऑपरेंड < TInt64 >> sparseIndices, Iterable < ऑपरेंड < TFloat32 >> sparseWeights, Iterable < ऑपरेंड < TFloat32 >> डेंसवेट्स, ऑपरेंड < TFloat32 > exampleStateData, स्ट्रिंग लॉस टाइप, फ्लोट l1, फ्लोट l2, लॉन्ग numLossPartitions, लॉन्ग numInnerIterations , विकल्प... विकल्प) एक नए Sdcaऑप्टिमाइज़र ऑपरेशन को लपेटकर एक क्लास बनाने की फ़ैक्टरी विधि। |
| सूची < आउटपुट < TFloat32 >> | आउटडेल्टाडेंसवेट्स () वैक्टरों की एक सूची जहां मान सघन सुविधा समूह से जुड़े डेल्टा भार हैं। |
| सूची < आउटपुट < TFloat32 >> | आउटडेल्टास्पार्सवेट्स () वैक्टरों की एक सूची जहां प्रत्येक मान एक विरल फीचर समूह से जुड़ा डेल्टा भार है। |
| आउटपुट < TFloat32 > | आउटउदाहरणस्टेटडेटा () अद्यतन उदाहरण स्थिति डेटा वाले वैक्टरों की एक सूची। |
विरासत में मिली विधियाँ
स्थिरांक
सार्वजनिक स्थैतिक अंतिम स्ट्रिंग OP_NAME
इस ऑप का नाम, जैसा कि TensorFlow कोर इंजन द्वारा जाना जाता है
सार्वजनिक तरीके
सार्वजनिक स्थैतिक एसडीसीएऑप्टिमाइज़र.ऑप्शंस अनुकूली (बूलियन अनुकूली)
पैरामीटर
| अनुकूली | आंतरिक लूप के लिए एडाप्टिव एसडीसीए का उपयोग करना है या नहीं। |
|---|
सार्वजनिक स्थैतिक Sdcaऑप्टिमाइज़र बनाएं ( स्कोप स्कोप, Iterable < ऑपरेंड < TInt64 >> sparseExampleIndices, Iterable < TInt64 >> sparseFeatureIndices, Iterable < ऑपरेंड < TFloat32 >> sparseFeatureValues , Iterable < ऑपरेंड < TFloat32 >> डेंस फीचर्स, ऑपरेंड < TFloat32 > exampleWeights , ऑपरेंड < TFloat32 > exampleLabels, Iterable < ऑपरेंड < TInt64 >> sparseIndices, Iterable < ऑपरेंड < TFloat32 >> sparseWeights, Iterable < ऑपरेंड < TFloat32 >> डेंसवेट्स, ऑपरेंड < TFloat32 > exampleStateData, स्ट्रिंग लॉस टाइप, फ्लोट l1, फ्लोट l2, लॉन्ग numLossPartitions , लंबी संख्याआंतरिक पुनरावृत्तियां, विकल्प... विकल्प)
एक नए Sdcaऑप्टिमाइज़र ऑपरेशन को लपेटकर एक क्लास बनाने की फ़ैक्टरी विधि।
पैरामीटर
| दायरा | वर्तमान दायरा |
|---|---|
| sparseExampleIndices | वैक्टरों की एक सूची जिसमें उदाहरण सूचकांक शामिल हैं। |
| विरलफ़ीचरइंडिसेस | वेक्टरों की एक सूची जिसमें फ़ीचर सूचकांक शामिल हैं। |
| विरल फ़ीचर मान | वैक्टर की एक सूची जिसमें प्रत्येक फीचर समूह से जुड़े फीचर मान शामिल हैं। |
| सघनविशेषताएँ | मैट्रिक्स की एक सूची जिसमें सघन फीचर मान शामिल हैं। |
| उदाहरणवजन | एक वेक्टर जिसमें प्रत्येक उदाहरण से जुड़ा वजन होता है। |
| exampleLabels | एक वेक्टर जिसमें प्रत्येक उदाहरण से जुड़ा लेबल/लक्ष्य होता है। |
| विरलसूचकांक | वैक्टरों की एक सूची जहां प्रत्येक मान सूचकांक है जिसका sparse_weights में संबंधित भार होता है। सघन दृष्टिकोण के लिए इस फ़ील्ड को शायद छोड़ दिया गया है। |
| विरल वजन | वैक्टरों की एक सूची जहां प्रत्येक मान एक विरल फीचर समूह से जुड़ा वजन है। |
| सघनवजन | वैक्टरों की एक सूची जहां मान सघन सुविधा समूह से जुड़े भार हैं। |
| exampleStateData | उदाहरण स्थिति डेटा वाले वैक्टर की एक सूची। |
| हानि प्रकार | प्रारंभिक हानि का प्रकार. वर्तमान में SdcaSolver लॉजिस्टिक, स्क्वेर्ड और हिंज हानियों का समर्थन करता है। |
| एल1 | सममित एल1 नियमितीकरण शक्ति। |
| एल2 | सममित एल2 नियमितीकरण शक्ति। |
| numLossPartitions | वैश्विक हानि फ़ंक्शन के विभाजनों की संख्या. |
| numInnerIterations | प्रति मिनी-बैच पुनरावृत्तियों की संख्या. |
| विकल्प | वैकल्पिक गुण मान रखता है |
रिटर्न
- Sdcaऑप्टिमाइज़र का एक नया उदाहरण
सार्वजनिक सूची < आउटपुट < TFloat32 >> आउटडेल्टाडेंसवेट्स ()
वैक्टरों की एक सूची जहां मान सघन सुविधा समूह से जुड़े डेल्टा भार हैं।
सार्वजनिक सूची < आउटपुट < TFloat32 >> आउटडेल्टास्पार्सवेट्स ()
वैक्टरों की एक सूची जहां प्रत्येक मान एक विरल फीचर समूह से जुड़ा डेल्टा भार है।
स्टोचैस्टिक डुअल कोऑर्डिनेट एसेंट (एसडीसीए) ऑप्टिमाइज़र का वितरित संस्करण
L1 + L2 नियमितीकरण के साथ रैखिक मॉडल। चूंकि वैश्विक अनुकूलन उद्देश्य दृढ़ता से उत्तल है, ऑप्टिमाइज़र प्रत्येक चरण में दोहरे उद्देश्य को अनुकूलित करता है। ऑप्टिमाइज़र प्रत्येक अद्यतन को एक समय में एक उदाहरण लागू करता है। उदाहरण समान रूप से नमूने लिए गए हैं, और अनुकूलक सीखने की दर मुक्त है और रैखिक अभिसरण दर का आनंद लेता है।
[प्रॉक्सिमल स्टोचैस्टिक डुअल कोऑर्डिनेट एसेंट](http://arxiv.org/pdf/1211.2717v1.pdf)।
शाई शैलेव-श्वार्ट्ज, टोंग झांग। 2012
$$Loss Objective = \sum f_{i} (wx_{i}) + (l2 / 2) * |w|^2 + l1 * |w|$$
[वितरित प्राइमल-डुअल ऑप्टिमाइज़ेशन में औसत बनाम जोड़ना](http://arxiv.org/abs/1502.03508)।
चेनक्सिन मा, वर्जीनिया स्मिथ, मार्टिन जग्गी, माइकल आई. जॉर्डन, पीटर रिचटारिक, मार्टिन टैकैक। 2015
[अनुकूली संभावनाओं के साथ स्टोचैस्टिक डुअल कोऑर्डिनेट एसेंट](https://arxiv.org/abs/1502.08053)।
डोमिनिक सीसिबा, झेंग क्व, पीटर रिचटारिक। 2015
नेस्टेड क्लासेस
| कक्षा | Sdcaऑप्टिमाइज़र.विकल्प | SdcaOptimizer के लिए वैकल्पिक विशेषताएँ | |
स्थिरांक
| डोरी | OP_NAME | इस ऑप का नाम, जैसा कि TensorFlow कोर इंजन द्वारा जाना जाता है |
सार्वजनिक तरीके
| स्थिर Sdcaऑप्टिमाइज़र.विकल्प | अनुकूली (बूलियन अनुकूली) |
| स्थिर एसडीसीएऑप्टिमाइज़र | बनाएं ( स्कोप स्कोप, Iterable < ऑपरेंड < TInt64 >> sparseExampleIndices, Iterable < ऑपरेंड < TInt64 >> sparseFeatureIndices, Iterable < ऑपरेंड < TFloat32 >> sparseFeatureValues, Iterable < ऑपरेंड < TFloat32 >> सघन फीचर्स, ऑपरेंड < TFloat32 > exampleWeights, ऑपरेंड < TFloat 32 > exampleLabels, Iterable < ऑपरेंड < TInt64 >> sparseIndices, Iterable < ऑपरेंड < TFloat32 >> sparseWeights, Iterable < ऑपरेंड < TFloat32 >> डेंसवेट्स, ऑपरेंड < TFloat32 > exampleStateData, स्ट्रिंग लॉस टाइप, फ्लोट l1, फ्लोट l2, लॉन्ग numLossPartitions, लॉन्ग numInnerIterations , विकल्प... विकल्प) एक नए Sdcaऑप्टिमाइज़र ऑपरेशन को लपेटकर एक क्लास बनाने की फ़ैक्टरी विधि। |
| सूची < आउटपुट < TFloat32 >> | आउटडेल्टाडेंसवेट्स () वैक्टरों की एक सूची जहां मान सघन सुविधा समूह से जुड़े डेल्टा भार हैं। |
| सूची < आउटपुट < TFloat32 >> | आउटडेल्टास्पार्सवेट्स () वैक्टरों की एक सूची जहां प्रत्येक मान एक विरल फीचर समूह से जुड़ा डेल्टा भार है। |
| आउटपुट < TFloat32 > | आउटउदाहरणस्टेटडेटा () अद्यतन उदाहरण स्थिति डेटा वाले वैक्टरों की एक सूची। |
विरासत में मिली विधियाँ
स्थिरांक
सार्वजनिक स्थैतिक अंतिम स्ट्रिंग OP_NAME
इस ऑप का नाम, जैसा कि TensorFlow कोर इंजन द्वारा जाना जाता है
सार्वजनिक तरीके
सार्वजनिक स्थैतिक एसडीसीएऑप्टिमाइज़र.ऑप्शंस अनुकूली (बूलियन अनुकूली)
पैरामीटर
| अनुकूली | आंतरिक लूप के लिए एडाप्टिव एसडीसीए का उपयोग करना है या नहीं। |
|---|
सार्वजनिक स्थैतिक Sdcaऑप्टिमाइज़र बनाएं ( स्कोप स्कोप, Iterable < ऑपरेंड < TInt64 >> sparseExampleIndices, Iterable < TInt64 >> sparseFeatureIndices, Iterable < ऑपरेंड < TFloat32 >> sparseFeatureValues , Iterable < ऑपरेंड < TFloat32 >> डेंस फीचर्स, ऑपरेंड < TFloat32 > exampleWeights , ऑपरेंड < TFloat32 > exampleLabels, Iterable < ऑपरेंड < TInt64 >> sparseIndices, Iterable < ऑपरेंड < TFloat32 >> sparseWeights, Iterable < ऑपरेंड < TFloat32 >> डेंसवेट्स, ऑपरेंड < TFloat32 > exampleStateData, स्ट्रिंग लॉस टाइप, फ्लोट l1, फ्लोट l2, लॉन्ग numLossPartitions , लंबी संख्याआंतरिक पुनरावृत्तियां, विकल्प... विकल्प)
एक नए Sdcaऑप्टिमाइज़र ऑपरेशन को लपेटकर एक क्लास बनाने की फ़ैक्टरी विधि।
पैरामीटर
| दायरा | वर्तमान दायरा |
|---|---|
| sparseExampleIndices | वैक्टरों की एक सूची जिसमें उदाहरण सूचकांक शामिल हैं। |
| विरलफ़ीचरइंडिसेस | वेक्टरों की एक सूची जिसमें फ़ीचर सूचकांक शामिल हैं। |
| विरल फ़ीचर मान | वैक्टर की एक सूची जिसमें प्रत्येक फीचर समूह से जुड़े फीचर मान शामिल हैं। |
| सघनविशेषताएँ | मैट्रिक्स की एक सूची जिसमें सघन फीचर मान शामिल हैं। |
| उदाहरणवजन | एक वेक्टर जिसमें प्रत्येक उदाहरण से जुड़ा वजन होता है। |
| exampleLabels | एक वेक्टर जिसमें प्रत्येक उदाहरण से जुड़ा लेबल/लक्ष्य होता है। |
| विरलसूचकांक | वैक्टरों की एक सूची जहां प्रत्येक मान सूचकांक है जिसका sparse_weights में संबंधित भार होता है। सघन दृष्टिकोण के लिए इस फ़ील्ड को शायद छोड़ दिया गया है। |
| विरल वजन | वैक्टरों की एक सूची जहां प्रत्येक मान एक विरल फीचर समूह से जुड़ा वजन है। |
| सघनवजन | वैक्टरों की एक सूची जहां मान सघन सुविधा समूह से जुड़े भार हैं। |
| exampleStateData | उदाहरण स्थिति डेटा वाले वैक्टर की एक सूची। |
| हानि प्रकार | प्रारंभिक हानि का प्रकार. वर्तमान में SdcaSolver लॉजिस्टिक, स्क्वेर्ड और हिंज हानियों का समर्थन करता है। |
| एल1 | सममित एल1 नियमितीकरण शक्ति। |
| एल2 | सममित एल2 नियमितीकरण शक्ति। |
| numLossPartitions | वैश्विक हानि फ़ंक्शन के विभाजनों की संख्या. |
| numInnerIterations | प्रति मिनी-बैच पुनरावृत्तियों की संख्या. |
| विकल्प | वैकल्पिक गुण मान रखता है |
रिटर्न
- Sdcaऑप्टिमाइज़र का एक नया उदाहरण
सार्वजनिक सूची < आउटपुट < TFloat32 >> आउटडेल्टाडेंसवेट्स ()
वैक्टरों की एक सूची जहां मान सघन सुविधा समूह से जुड़े डेल्टा भार हैं।
सार्वजनिक सूची < आउटपुट < TFloat32 >> आउटडेल्टास्पार्सवेट्स ()
वैक्टरों की एक सूची जहां प्रत्येक मान एक विरल फीचर समूह से जुड़ा डेल्टा भार है।