TensorFlow Lattice هي مكتبة تُنفذ نماذج شبكية مرنة ومُتحكم بها وقابلة للتفسير. تُمكّنك هذه المكتبة من إدخال المعرفة المتخصصة في عملية التعلم من خلال قيود شكلية منطقية أو مُستندة إلى سياسات. ويتم ذلك باستخدام مجموعة من طبقات Keras التي تُلبي قيودًا مثل الرتابة والتحدب والثقة الثنائية. كما تُوفر المكتبة نماذج جاهزة سهلة الإعداد.
المفاهيم
هذا القسم هو نسخة مبسطة من الوصف الوارد في جداول البحث المعايرة الرتيبة ، JMLR 2016.
شبكات
الشبكة هي جدول بحث مُستكمَل يُمكنه تقريب علاقات الإدخال والإخراج في بياناتك. وهي تُطبّق شبكة منتظمة على مساحة الإدخال وتتعلم قيم الإخراج في رؤوس الشبكة. لنقطة اختبار \(x\)، \(f(x)\) يتم استيفاء القيم خطيًا من قيم الشبكة المحيطة \(x\).
المثال البسيط أعلاه هو دالة تحتوي على خاصيتين للإدخال وأربعة معلمات:\(\theta=[0, 0.2, 0.4, 1]\)، وهي قيم الدالة عند زوايا مساحة الإدخال؛ يتم استكمال باقي الدالة من هذه المعلمات.
الوظيفة \(f(x)\) يمكنها رصد التفاعلات غير الخطية بين العناصر. يمكنك اعتبار معلمات الشبكة بمثابة ارتفاع الأعمدة المثبتة في الأرض على شبكة منتظمة، والدالة الناتجة تشبه قطعة قماش مشدودة بإحكام على الأعمدة الأربعة.
مع \(D\) إذا احتوت الشبكة المنتظمة على ميزات ورأسين على طول كل بُعد، فسيكون لها \(2^D\) للحصول على دالة أكثر مرونة، يمكنك تحديد شبكة أدق على فضاء الميزات مع عدد أكبر من الرؤوس على طول كل بُعد. دوال الانحدار الشبكي متصلة وقابلة للتفاضل بشكل لانهائي جزئيًا.
معايرة
لنفترض أن شبكة العينة السابقة تمثل رضا المستخدم المتعلم عن مقهى محلي مقترح تم حسابه باستخدام الميزات:
- سعر القهوة يتراوح بين 0 و 20 دولارًا
- المسافة إلى المستخدم، في نطاق من 0 إلى 30 كيلومترًا
نريد أن يتعلم نموذجنا مدى رضا المستخدم عن اقتراح مقهى محلي. يمكن لنماذج TensorFlow Lattice استخدام الدوال الخطية المجزأة (مع tfl.layers.PWLCalibration ) لمعايرة وتطبيع خصائص الإدخال ضمن النطاق الذي تقبله الشبكة: من 0.0 إلى 1.0 في مثال الشبكة أعلاه. فيما يلي أمثلة على دوال المعايرة هذه مع 10 نقاط رئيسية:
غالباً ما يكون من المفيد استخدام قيم الكميات المئوية للميزات كنقاط إدخال رئيسية. يمكن لنماذج TensorFlow Lattice الجاهزة تعيين نقاط الإدخال الرئيسية تلقائياً وفقاً لقيم الكميات المئوية للميزات.
بالنسبة للميزات الفئوية، يوفر TensorFlow Lattice معايرة فئوية (مع tfl.layers.CategoricalCalibration ) مع حدود إخراج مماثلة لتغذية الشبكة.
الفرق الموسيقية
يزداد عدد معلمات طبقة الشبكة بشكل أُسّي مع ازدياد عدد خصائص الإدخال، مما يجعلها غير قابلة للتوسع بكفاءة في الأبعاد العالية جدًا. وللتغلب على هذا القيد، توفر TensorFlow Lattice مجموعات من الشبكات التي تجمع (تحسب متوسط) عدة شبكات صغيرة ، مما يُمكّن النموذج من النمو خطيًا مع ازدياد عدد الخصائص.
توفر المكتبة نوعين مختلفين من هذه المجموعات الموسيقية:
الشبكات الصغيرة العشوائية (RTL): يستخدم كل نموذج فرعي مجموعة فرعية عشوائية من الميزات (مع الاستبدال).
خوارزمية كريستالز : تقوم خوارزمية كريستالز أولاً بتدريب نموذج أولي لتقدير التفاعلات الثنائية بين الميزات. ثم تقوم بترتيب المجموعة النهائية بحيث تكون الميزات ذات التفاعلات غير الخطية الأكثر في نفس الشبكات.
لماذا TensorFlow Lattice؟
يمكنك العثور على مقدمة موجزة عن TensorFlow Lattice في منشور مدونة TF هذا.
قابلية التفسير
بما أن معلمات كل طبقة هي مخرجات تلك الطبقة، فمن السهل تحليل وفهم وتصحيح كل جزء من النموذج.
نماذج دقيقة ومرنة
باستخدام الشبكات الدقيقة، يمكنك الحصول على دوال معقدة للغاية بطبقة شبكية واحدة. غالبًا ما يكون استخدام طبقات متعددة من المعايرات والشبكات فعالًا في التطبيق العملي، ويمكن أن يضاهي أو يتفوق على نماذج الشبكات العصبية العميقة ذات الأحجام المماثلة.
قيود الشكل المنطقية
قد لا تمثل بيانات التدريب الواقعية بيانات وقت التشغيل تمثيلاً كافياً. غالباً ما تتصرف حلول التعلم الآلي المرنة، مثل الشبكات العصبية العميقة أو الغابات، بشكل غير متوقع، بل وحتى بشكل عشوائي، في أجزاء من فضاء الإدخال غير المشمولة ببيانات التدريب. ويُعدّ هذا السلوك إشكالياً بشكل خاص عندما يكون من الممكن انتهاك قيود السياسة أو العدالة.
على الرغم من أن أساليب التنظيم الشائعة قد تُسفر عن استقراء أكثر منطقية، إلا أن أدوات التنظيم القياسية لا تضمن سلوكًا معقولًا للنموذج عبر كامل فضاء الإدخال، لا سيما مع المدخلات عالية الأبعاد. وقد يكون التحول إلى نماذج أبسط ذات سلوك أكثر تحكمًا وقابلية للتنبؤ مكلفًا للغاية بالنسبة لدقة النموذج.
تتيح TF Lattice إمكانية الاستمرار في استخدام النماذج المرنة، ولكنها توفر العديد من الخيارات لإدخال المعرفة بالمجال في عملية التعلم من خلال قيود الشكل ذات المعنى الدلالي أو القيود المستندة إلى السياسات:
- الرتابة : يمكنك تحديد أن الناتج يجب أن يزيد/ينقص فقط بالنسبة للمدخل. في مثالنا، قد ترغب في تحديد أن زيادة المسافة إلى المقهى يجب أن تؤدي فقط إلى انخفاض تفضيل المستخدم المتوقع.
التحدب/التقعر : يمكنك تحديد ما إذا كان شكل الدالة محدبًا أم مقعرًا. وعند دمجه مع خاصية الرتابة، قد يُجبر ذلك الدالة على تمثيل تناقص العائدات بالنسبة لخاصية معينة.
أحادية النمط : يمكنك تحديد أن الدالة يجب أن تحتوي على قمة فريدة أو قاع فريد. يتيح لك هذا تمثيل الدوال التي تتمتع بنقطة مثالية بالنسبة لخاصية معينة.
الثقة الثنائية : يعمل هذا القيد على زوج من الخصائص، ويشير إلى أن إحدى خصائص الإدخال تعكس دلاليًا الثقة في خاصية أخرى. على سبيل المثال، كلما زاد عدد التقييمات، زادت ثقتك في متوسط تقييم النجوم للمطعم. سيكون النموذج أكثر حساسية لتقييم النجوم (أي سيكون ميله أكبر بالنسبة للتقييم) عندما يكون عدد التقييمات أعلى.
مرونة مضبوطة باستخدام منظمات
بالإضافة إلى قيود الشكل، توفر شبكة TensorFlow عددًا من المنظمات للتحكم في مرونة وسلاسة الوظيفة لكل طبقة.
مُنظِّم لابلاس : يتم تنظيم مخرجات الشبكة/رؤوس المعايرة/النقاط الرئيسية وفقًا لقيم جيرانها. ينتج عن ذلك دالة أكثر استواءً .
منظم هيسيان : هذا يعاقب المشتق الأول لطبقة معايرة PWL لجعل الدالة أكثر خطية .
مُنظِّم التجاعيد : يُقلِّل هذا من قيمة المشتقة الثانية لطبقة معايرة PWL لتجنب التغيرات المفاجئة في الانحناء، مما يجعل الدالة أكثر سلاسة.
مُنظِّم الالتواء : سيتم تنظيم مخرجات الشبكة لمنع الالتواء بين الميزات. بعبارة أخرى، سيتم تنظيم النموذج لضمان استقلالية مساهمات الميزات.
قم بالمزج والتنسيق مع طبقات Keras الأخرى
يمكنك استخدام طبقات TF Lattice مع طبقات Keras الأخرى لإنشاء نماذج مقيدة جزئيًا أو منتظمة. على سبيل المثال، يمكن استخدام طبقات معايرة Lattice أو PWL في الطبقة الأخيرة من الشبكات العميقة التي تتضمن تضمينات أو طبقات Keras أخرى.
أوراق
- الأخلاق الواجبية من خلال قيود شكل الرتابة ، سيرينا وانغ، مايا غوبتا، المؤتمر الدولي للذكاء الاصطناعي والإحصاء (AISTATS)، 2020
- قيود الشكل لدوال المجموعات ، أندرو كوتر، مايا غوبتا، هـ. جيانغ، إيريز لويدور، جيم مولر، تامان نارايان، سيرينا وانغ، تاو تشو. المؤتمر الدولي للتعلم الآلي (ICML)، 2019
- قيود تناقص العوائد على قابلية التفسير والتنظيم ، مايا غوبتا، دارا بحري، أندرو كوتر، كيفن كانيني، التطورات في أنظمة معالجة المعلومات العصبية (NeurIPS)، 2018
- الشبكات الشبكية العميقة والدوال الرتيبة الجزئية ، سيونجيل يو، كيفن كانيني، ديفيد دينغ، جان فايفر، مايا ر. غوبتا، التطورات في أنظمة معالجة المعلومات العصبية (NeurIPS)، 2017
- دوال رتيبة سريعة ومرنة مع مجموعات من الشبكات ، مهدي ميلاني فرد، كيفن كانيني، أندرو كوتر، جان فايفر، مايا غوبتا، التطورات في أنظمة معالجة المعلومات العصبية (NeurIPS)، 2016
- جداول البحث المُعايرة المُستكملة بشكل رتيب ، مايا غوبتا، أندرو كوتر، جان فايفر، كونستانتين فويفودسكي، كيفن كانيني، ألكسندر مانغيلوف، فويتش موتشيدلوفسكي، ألكسندر فان إسبروك، مجلة أبحاث تعلم الآلة (JMLR)، 2016
- الانحدار الأمثل لتقييم الوظائف بكفاءة ، إريك غارسيا، رامان أرورا، مايا ر. غوبتا، معاملات IEEE في معالجة الصور، 2012
- الانحدار الشبكي ، إريك غارسيا، مايا غوبتا، التطورات في أنظمة معالجة المعلومات العصبية (NeurIPS)، 2009
دروس تعليمية ووثائق واجهة برمجة التطبيقات
بالنسبة لهياكل النماذج الشائعة، يمكنك استخدام نماذج Keras الجاهزة . كما يمكنك إنشاء نماذج مخصصة باستخدام طبقات TF Lattice Keras أو دمجها مع طبقات Keras الأخرى. راجع وثائق واجهة برمجة التطبيقات الكاملة لمزيد من التفاصيل.