टेन्सरफ्लो लैटिस (टीएफएल)

TensorFlow Lattice एक लाइब्रेरी है जो लचीले, नियंत्रित और व्याख्या योग्य लैटिस-आधारित मॉडल को लागू करती है। यह लाइब्रेरी आपको सामान्य ज्ञान या नीति-आधारित आकार संबंधी बाधाओं के माध्यम से सीखने की प्रक्रिया में डोमेन ज्ञान को शामिल करने में सक्षम बनाती है। यह Keras लेयर्स के एक संग्रह का उपयोग करके किया जाता है जो मोनोटोनिसिटी, कॉन्वेक्सिटी और पेयरवाइज ट्रस्ट जैसी बाधाओं को पूरा कर सकते हैं। यह लाइब्रेरी पहले से तैयार किए गए मॉडल भी प्रदान करती है जिन्हें आसानी से सेटअप किया जा सकता है।

अवधारणाओं

यह खंड मोनोटोनिक कैलिब्रेटेड इंटरपोलेटेड लुक-अप टेबल्स , जेएमएलआर 2016 में दिए गए विवरण का सरलीकृत संस्करण है।

जाली

लैटिस एक इंटरपोलेटेड लुक-अप टेबल है जो आपके डेटा में किसी भी इनपुट-आउटपुट संबंध का अनुमान लगा सकती है। यह आपके इनपुट स्पेस पर एक नियमित ग्रिड को ओवरलैप करती है और ग्रिड के शीर्षों में आउटपुट के लिए मान सीखती है। एक परीक्षण बिंदु के लिए \(x\), \(f(x)\) इसे आसपास के जाली मानों से रैखिक रूप से इंटरपोलेटेड किया जाता है। \(x\).

ऊपर दिया गया सरल उदाहरण एक ऐसा फ़ंक्शन है जिसमें 2 इनपुट फ़ीचर और 4 पैरामीटर हैं:\(\theta=[0, 0.2, 0.4, 1]\)ये वे मान हैं जो इनपुट स्पेस के कोनों पर फ़ंक्शन के मान होते हैं; फ़ंक्शन का शेष भाग इन मापदंडों से इंटरपोलेटेड होता है।

फ़ंक्शन \(f(x)\) यह विशेषताओं के बीच गैर-रेखीय अंतःक्रियाओं को पकड़ सकता है। आप जाली मापदंडों को एक नियमित ग्रिड पर जमीन में गाड़े गए खंभों की ऊंचाई के रूप में सोच सकते हैं, और परिणामी फ़ंक्शन चारों खंभों के विरुद्ध कसकर खींचे गए कपड़े की तरह है।

साथ \(D\) प्रत्येक आयाम के साथ 2 शीर्षों और विशेषताओं के साथ, एक नियमित जाली में होगा \(2^D\) पैरामीटर। अधिक लचीले फ़ंक्शन को फिट करने के लिए, आप प्रत्येक आयाम के साथ अधिक शीर्षों वाले फ़ीचर स्पेस पर एक महीन-दानेदार जाली निर्दिष्ट कर सकते हैं। जाली प्रतिगमन फ़ंक्शन सतत और खंडशः अनंत रूप से अवकलनीय होते हैं।

कैलिब्रेशन

मान लीजिए कि उपरोक्त नमूना जाली विशेषताओं का उपयोग करके गणना की गई एक सुझाए गए स्थानीय कॉफी शॉप के साथ उपयोगकर्ता की संतुष्टि का प्रतिनिधित्व करती है:

  • कॉफी की कीमत 0 से 20 डॉलर के बीच है।
  • उपयोगकर्ता से दूरी, 0 से 30 किलोमीटर की सीमा में।

हम चाहते हैं कि हमारा मॉडल स्थानीय कॉफी शॉप के सुझाव से उपयोगकर्ता की संतुष्टि को समझे। TensorFlow Lattice मॉडल, इनपुट फ़ीचर्स को कैलिब्रेट और नॉर्मलाइज़ करने के लिए पीसवाइज़ लीनियर फ़ंक्शन ( tfl.layers.PWLCalibration के साथ) का उपयोग कर सकते हैं, ताकि वे लैटिस द्वारा स्वीकार्य सीमा (ऊपर दिए गए उदाहरण लैटिस में 0.0 से 1.0) तक पहुँच सकें। नीचे 10 कीपॉइंट्स के साथ ऐसे कैलिब्रेशन फ़ंक्शन के उदाहरण दिए गए हैं:

इनपुट कीपॉइंट्स के रूप में फ़ीचर के क्वांटाइल का उपयोग करना अक्सर एक अच्छा विचार होता है। TensorFlow Lattice के पहले से बने मॉडल इनपुट कीपॉइंट्स को फ़ीचर क्वांटाइल पर स्वचालित रूप से सेट कर सकते हैं।

श्रेणीबद्ध विशेषताओं के लिए, TensorFlow Lattice श्रेणीबद्ध अंशांकन ( tfl.layers.CategoricalCalibration के साथ) प्रदान करता है, जिसमें जाली में फीड करने के लिए समान आउटपुट बाउंडिंग होती है।

टुकड़ियों

लैटिस लेयर के पैरामीटरों की संख्या इनपुट फीचर्स की संख्या के साथ तेजी से बढ़ती है, इसलिए यह बहुत उच्च आयामों के लिए उपयुक्त नहीं है। इस सीमा को दूर करने के लिए, TensorFlow Lattice लैटिस के समूह प्रदान करता है जो कई छोटे लैटिस को मिलाकर (औसत के रूप में) मॉडल को फीचर्स की संख्या में रैखिक रूप से बढ़ने में सक्षम बनाता है।

पुस्तकालय इन संगीत समूहों के दो प्रकार उपलब्ध कराता है:

  • रैंडम टाइनी लैटिस (आरटीएल): प्रत्येक सबमॉडल सुविधाओं के एक यादृच्छिक उपसमूह का उपयोग करता है (प्रतिस्थापन के साथ)।

  • क्रिस्टल्स : क्रिस्टल्स एल्गोरिदम सबसे पहले एक प्रीफिटिंग मॉडल को प्रशिक्षित करता है जो युग्म-वार फीचर अंतःक्रियाओं का अनुमान लगाता है। फिर यह अंतिम समूह को इस प्रकार व्यवस्थित करता है कि अधिक गैर-रेखीय अंतःक्रियाओं वाले फीचर एक ही जालक में हों।

TensorFlow Lattice क्यों?

इस टीएफ ब्लॉग पोस्ट में आपको टेन्सरफ्लो लैटिस का संक्षिप्त परिचय मिल जाएगा।

विवेचनीयता

चूंकि प्रत्येक परत के पैरामीटर उस परत का आउटपुट होते हैं, इसलिए मॉडल के प्रत्येक भाग का विश्लेषण करना, समझना और उसमें मौजूद त्रुटियों को दूर करना आसान होता है।

सटीक और लचीले मॉडल

सूक्ष्म-दानेदार जालक संरचनाओं का उपयोग करके, आप एक ही जालक परत से मनमाने ढंग से जटिल फलन प्राप्त कर सकते हैं। कैलिब्रेटर और जालक संरचनाओं की कई परतों का उपयोग व्यवहार में अक्सर बेहतर परिणाम देता है और समान आकार के डीएनएन मॉडल के बराबर या उनसे बेहतर प्रदर्शन कर सकता है।

सामान्य ज्ञान पर आधारित आकार संबंधी बाधाएँ

वास्तविक दुनिया का प्रशिक्षण डेटा रन-टाइम डेटा का पर्याप्त रूप से प्रतिनिधित्व नहीं कर सकता है। डीएनएन या फॉरेस्ट जैसे लचीले मशीन लर्निंग समाधान अक्सर इनपुट स्पेस के उन हिस्सों में अप्रत्याशित और यहां तक ​​कि अनियंत्रित तरीके से व्यवहार करते हैं जो प्रशिक्षण डेटा द्वारा कवर नहीं किए जाते हैं। यह व्यवहार विशेष रूप से तब समस्याग्रस्त होता है जब नीति या निष्पक्षता संबंधी बाधाओं का उल्लंघन हो सकता है।

हालांकि नियमितीकरण के सामान्य रूप अधिक सटीक एक्सट्रपलेशन प्रदान कर सकते हैं, फिर भी मानक नियमितीकरणकर्ता संपूर्ण इनपुट स्पेस में उचित मॉडल व्यवहार की गारंटी नहीं दे सकते, विशेष रूप से उच्च-आयामी इनपुट के मामले में। अधिक नियंत्रित और पूर्वानुमानित व्यवहार वाले सरल मॉडलों पर स्विच करने से मॉडल की सटीकता पर गंभीर प्रभाव पड़ सकता है।

टीएफ लैटिस लचीले मॉडलों का उपयोग जारी रखना संभव बनाता है, लेकिन अर्थपूर्ण सामान्य ज्ञान या नीति-संचालित आकार बाधाओं के माध्यम से सीखने की प्रक्रिया में डोमेन ज्ञान को शामिल करने के लिए कई विकल्प प्रदान करता है:

  • एकरसता : आप यह निर्दिष्ट कर सकते हैं कि आउटपुट केवल इनपुट के सापेक्ष ही बढ़े/घटे। हमारे उदाहरण में, आप यह निर्दिष्ट करना चाह सकते हैं कि कॉफी शॉप की दूरी बढ़ने पर अनुमानित उपयोगकर्ता वरीयता केवल घटनी चाहिए।

  • उत्तलता/अवतलता : आप यह निर्दिष्ट कर सकते हैं कि फ़ंक्शन का आकार उत्तल या अवतल हो सकता है। एकरसता के साथ मिश्रित होने पर, यह फ़ंक्शन को किसी दिए गए फ़ीचर के संबंध में घटते प्रतिफल को दर्शाने के लिए बाध्य कर सकता है।

  • एकरूपता : आप यह निर्दिष्ट कर सकते हैं कि फ़ंक्शन का एक अद्वितीय शिखर या एक अद्वितीय घाटी होनी चाहिए। यह आपको उन फ़ंक्शनों को दर्शाने की अनुमति देता है जिनमें किसी विशेषता के संबंध में एक आदर्श बिंदु होता है।

  • जोड़ीदार विश्वास : यह बाधा दो विशेषताओं के एक जोड़े पर काम करती है और बताती है कि एक इनपुट विशेषता दूसरी विशेषता में विश्वास को अर्थपूर्ण रूप से दर्शाती है। उदाहरण के लिए, समीक्षाओं की अधिक संख्या किसी रेस्तरां की औसत स्टार रेटिंग पर आपका विश्वास बढ़ाती है। समीक्षाओं की संख्या अधिक होने पर मॉडल स्टार रेटिंग के प्रति अधिक संवेदनशील होगा (अर्थात रेटिंग के सापेक्ष उसका ढलान अधिक होगा)।

रेगुलाइज़र के साथ नियंत्रित लचीलापन

आकार संबंधी बाधाओं के अलावा, टेन्सरफ्लो लैटिस प्रत्येक परत के लिए फ़ंक्शन की लचीलता और सुगमता को नियंत्रित करने के लिए कई नियमितीकरण प्रदान करता है।

  • लैप्लेसियन रेगुलराइज़र : लैटिस/कैलिब्रेशन वर्टेक्स/कीपॉइंट्स के आउटपुट को उनके संबंधित पड़ोसियों के मानों के अनुसार नियमित किया जाता है। इससे एक अधिक समतल फ़ंक्शन प्राप्त होता है।

  • हेसियन रेगुलराइज़र : यह फ़ंक्शन को अधिक रैखिक बनाने के लिए पीडब्ल्यूएल कैलिब्रेशन परत के पहले व्युत्पन्न को दंडित करता है।

  • रिंकल रेगुलराइज़र : यह वक्रता में अचानक होने वाले परिवर्तनों से बचने के लिए PWL कैलिब्रेशन लेयर के दूसरे डेरिवेटिव को दंडित करता है। इससे फ़ंक्शन अधिक सुचारू हो जाता है।

  • टॉर्शन रेगुलराइज़र : लैटिस के आउटपुट को इस तरह से नियमित किया जाएगा जिससे विशेषताओं के बीच टॉर्शन को रोका जा सके। दूसरे शब्दों में, मॉडल को इस तरह से नियमित किया जाएगा जिससे विशेषताओं के योगदान के बीच स्वतंत्रता सुनिश्चित हो सके।

अन्य केरस लेयर्स के साथ मिलाकर उपयोग करें

आप आंशिक रूप से बाधित या नियमित मॉडल बनाने के लिए TF लैटिस लेयर्स को अन्य केरस लेयर्स के साथ मिलाकर उपयोग कर सकते हैं। उदाहरण के लिए, एम्बेडिंग या अन्य केरस लेयर्स वाले गहरे नेटवर्क की अंतिम लेयर पर लैटिस या PWL कैलिब्रेशन लेयर्स का उपयोग किया जा सकता है।

पत्रों

ट्यूटोरियल और एपीआई दस्तावेज़

सामान्य मॉडल आर्किटेक्चर के लिए, आप Keras के पहले से बने मॉडल का उपयोग कर सकते हैं। आप TF Lattice Keras लेयर्स का उपयोग करके कस्टम मॉडल भी बना सकते हैं या अन्य Keras लेयर्स के साथ मिलाकर उपयोग कर सकते हैं। अधिक जानकारी के लिए API दस्तावेज़ देखें।