مساعدة في حماية الحاجز المرجاني العظيم مع TensorFlow على Kaggle تاريخ التحدي

TensorFlow Lattice (TFL)

TensorFlow Lattice هي مكتبة تنفذ نماذج شبكية مرنة ويمكن التحكم فيها وقابلة للتفسير. تمكن المكتبة التي لحقن مجال المعرفة في عملية التعلم من خلال البديهية أو يحركها سياسة القيود الشكل . ويتم ذلك باستخدام مجموعة من الطبقات Keras التي يمكن أن تلبي القيود مثل الرتابه في الصوت، التحدب والثقة زوجيا. كما يوفر مكتبة سهلة الإعداد المعلبة المقدرات .

المفاهيم

هذا القسم هو نسخة مبسطة من الوصف في الجداول المطردة معايرة محرف نظرة الهاتفي ، JMLR عام 2016.

المشابك

A شعرية هي نظرة متابعة الجدول محرف التي يمكن تقريب العلاقات بين المدخلات والمخرجات التعسفية في البيانات الخاصة بك. إنها تتداخل مع شبكة عادية في مساحة الإدخال الخاصة بك وتتعلم قيم الإخراج في رؤوس الشبكة. لنقطة الاختبار \(x\)، \(f(x)\) محرف خطيا من قيم شعرية المحيطة \(x\).

ومثال بسيط أعلاه هو وظيفة مع 2 ميزات المدخلات و4 المعلمات:\(\theta=[0, 0.2, 0.4, 1]\)، والتي هي قيم الدالة في زوايا الفضاء المدخلات؛ يتم استيفاء باقي الوظيفة من هذه المعلمات.

وظيفة \(f(x)\) يمكن التقاط التفاعلات غير خطية بين الميزات. يمكنك التفكير في معلمات الشبكة على أنها ارتفاع الأعمدة المحددة في الأرض على شبكة منتظمة ، والوظيفة الناتجة هي مثل قطعة قماش مشدودة بإحكام على الأقطاب الأربعة.

مع \(D\) الميزات و2 القمم على طول كل البعد، وشعرية العادية يكون \(2^D\) المعلمات. لتلائم وظيفة أكثر مرونة ، يمكنك تحديد شبكة أكثر دقة على مساحة الميزة بمزيد من الرؤوس على طول كل بُعد. وظائف الانحدار الشبكي مستمرة وقابلة للتفاضل بلا حدود.

معايرة

وتقول دعونا تمثل شعرية عينة السابقة السعادة المستخدم تعلمت مع مقهى محلي اقترح حسابها باستخدام الميزات:

  • سعر القهوة ، في حدود 0 إلى 20 دولارًا
  • المسافة إلى المستخدم ، في حدود 0 إلى 30 كيلومترًا

نريد أن يتعلم نموذجنا سعادة المستخدم من خلال اقتراح مقهى محلي. يمكن لنماذج شعرية TensorFlow استخدام وظائف خطية دالة متعددة التعريف (مع tfl.layers.PWLCalibration ) لمعايرة وتطبيع يتميز المدخلات إلى مجموعة قبلها شعرية: 0،0-1،0 في المثال شعرية أعلاه. يعرض ما يلي أمثلة لوظائف المعايرة هذه باستخدام 10 نقاط رئيسية:

غالبًا ما تكون فكرة جيدة أن تستخدم مقادير الميزات كنقاط أساسية للإدخال. TensorFlow شعرية المقدرات المعلبة يمكن تلقائيا تعيين النقاط الرئيسية مساهمة في quantiles الميزة.

لميزات الفئوية، يوفر TensorFlow شعرية معايرة القاطع (مع tfl.layers.CategoricalCalibration ) مع إخراج مشابه إحاطة لتغذي شعرية.

الفرق

يزداد عدد معلمات طبقة الشبكة بشكل كبير مع عدد ميزات الإدخال ، وبالتالي لا يتم التحجيم جيدًا إلى أبعاد عالية جدًا. للتغلب على هذا القيد، TensorFlow شعرية تقدم الفرق من الشبكات التي تجمع بين (متوسط) عدة الشبكات الصغيرة، والتي تمكن نموذج للنمو خطيا في عدد من الميزات.

تقدم المكتبة نوعين مختلفين من هذه المجموعات:

  • عشوائية المشابك الصغيرة (RTL): يستخدم كل submodel مجموعة فرعية عشوائية من الميزات (مع استبدال).

  • بلورات: إن بلورات خوارزمية القطارات أول نموذج prefitting أن تقديرات البشرى التفاعلات الميزة. ثم يقوم بترتيب المجموعة النهائية بحيث تكون الميزات ذات التفاعلات غير الخطية في نفس المشابك.

لماذا TensorFlow Lattice؟

يمكنك العثور على مقدمة موجزة لTensorFlow شعرية في هذا TF مدونة آخر .

التفسير

نظرًا لأن معلمات كل طبقة هي ناتج تلك الطبقة ، فمن السهل تحليل وفهم وتصحيح كل جزء من النموذج.

نماذج دقيقة ومرنة

استخدام الشبكات الحبيبات غرامة، يمكنك الحصول على وظائف معقدة بشكل تعسفي مع طبقة شعرية واحدة. غالبًا ما يعمل استخدام طبقات متعددة من أجهزة المعايرة والشبكات بشكل جيد في الممارسة ويمكن أن تتطابق أو تتفوق على نماذج DNN ذات الأحجام المتشابهة.

قيود الشكل ذات الحس السليم

قد لا تمثل بيانات التدريب في العالم الحقيقي بيانات وقت التشغيل بشكل كافٍ. غالبًا ما تعمل حلول ML المرنة مثل DNNs أو الغابات بشكل غير متوقع وحتى بشكل عشوائي في أجزاء من مساحة الإدخال التي لا تغطيها بيانات التدريب. هذا السلوك يمثل مشكلة خاصة عندما يمكن انتهاك قيود السياسة أو الإنصاف.

على الرغم من أن الأشكال الشائعة للتنظيم يمكن أن تؤدي إلى استقراء أكثر منطقية ، فإن المنظمين القياسيين لا يمكنهم ضمان سلوك نموذج معقول عبر مساحة الإدخال بأكملها ، خاصةً مع المدخلات عالية الأبعاد. يمكن أن يؤدي التحول إلى نماذج أبسط ذات سلوك أكثر تحكمًا ويمكن التنبؤ به إلى تكلفة باهظة على دقة النموذج.

TF شعرية يجعل من الممكن الاستمرار في استخدام نماذج مرنة، ولكنها توفر عدة خيارات لمعرفة نطاق ضخها في عملية التعلم من خلال معنى لغويا البديهية أو يحركها سياسة القيود الشكل :

  • الرتابه في الصوت: يمكنك تحديد أن الناتج يجب أن يؤدي إلا إلى زيادة / نقصان فيما يتعلق مدخلا. في مثالنا ، قد ترغب في تحديد أن المسافة المتزايدة إلى المقهى يجب أن تقلل فقط من تفضيل المستخدم المتوقع.

  • التحدب / تقعر: يمكنك تحديد أن شكل وظيفة يمكن أن يكون محدب أو مقعر. مختلطًا مع الرتابة ، يمكن أن يجبر هذا الوظيفة على تمثيل تناقص العوائد فيما يتعلق بميزة معينة.

  • Unimodality: يمكنك تحديد أن وظيفة يجب أن يكون ذروة فريدة من نوعها أو وادي فريدة من نوعها. هذا يتيح لك تمثل المهام التي لديها بقعة الحلو فيما يتعلق الميزة.

  • البشرى ثقة: هذا القيد يعمل على زوج من المزايا وتشير إلى أن ميزة إدخال واحد يعكس غويا الثقة في ميزة أخرى. على سبيل المثال ، يجعلك العدد الأكبر من المراجعات أكثر ثقة في متوسط ​​التقييم النجمي لمطعم ما. سيكون النموذج أكثر حساسية فيما يتعلق بالتقييم النجمي (أي سيكون له ميل أكبر فيما يتعلق بالتقييم) عندما يكون عدد المراجعات أعلى.

مرونة خاضعة للرقابة مع المنظمين

بالإضافة إلى قيود الشكل ، توفر شبكة TensorFlow عددًا من المنظمين للتحكم في مرونة وسلاسة الوظيفة لكل طبقة.

  • Laplacian Regularizer: مخرجات شعرية / المعايرة ويسوي والقمم / النقاط الرئيسية نحو قيم جيرانهم منها. هذه النتائج في وظيفة تملق.

  • هسه Regularizer: هذا يعاقب أول مشتق من طبقة PWL المعايرة لجعل وظيفة أكثر الخطية.

  • التجاعيد Regularizer: هذا يعاقب المشتقة الثانية من طبقة PWL المعايرة لتجنب التغيرات المفاجئة في انحناء. يجعل الوظيفة أكثر سلاسة.

  • سيتم قننت مخرجات شعرية نحو منع التواء بين الميزات: فتل Regularizer. بمعنى آخر ، سيتم تنظيم النموذج نحو الاستقلال بين مساهمات الميزات.

امزج وتطابق مع طبقات Keras الأخرى

يمكنك استخدام طبقات TF Lattice مع طبقات Keras الأخرى لإنشاء نماذج مقيدة جزئيًا أو منتظمة. على سبيل المثال ، يمكن استخدام طبقات المعايرة الشبكية أو طبقات المعايرة PWL في الطبقة الأخيرة من الشبكات الأعمق التي تتضمن الزخارف أو طبقات Keras الأخرى.

أوراق

البرامج التعليمية ومستندات API

لأبنية نموذج مشتركة، يمكنك استخدام نماذج ولم يضف Keras أو المقدرون المعلبة . يمكنك أيضا إنشاء نماذج مخصصة باستخدام طبقات TF شعرية Keras أو مزيج المباراة مع طبقات Keras أخرى. تحقق من مستندات API الكاملة للحصول على التفاصيل.