Model Bahçeye genel bakış

TensorFlow Model Bahçesi, görme ve doğal dil işleme (NLP) için birçok son teknoloji makine öğrenimi (ML) modelinin uygulamalarının yanı sıra bu modelleri standart veri kümelerinde hızlı bir şekilde yapılandırmanıza ve çalıştırmanıza olanak tanıyan iş akışı araçları sağlar. İster iyi bilinen bir model için performans karşılaştırması yapmak, ister yakın zamanda yayınlanan araştırmaların sonuçlarını doğrulamak veya mevcut modelleri genişletmek isteyin, Model Bahçesi, makine öğrenimi araştırmanızı ve uygulamalarınızı ileriye götürmenize yardımcı olabilir.

Model Bahçesi, makine öğrenimi geliştiricileri için aşağıdaki kaynakları içerir:

Bu kaynaklar, TensorFlow Core çerçevesiyle kullanılmak ve mevcut TensorFlow geliştirme projelerinizle entegre olmak üzere oluşturulmuştur. Model Bahçe kaynakları ayrıca açık kaynak lisansı altında sağlanır, böylece modelleri ve araçları özgürce genişletebilir ve dağıtabilirsiniz.

Pratik makine öğrenimi modellerinin eğitilmesi ve çalıştırılması hesaplama açısından yoğundur ve Grafik İşleme Birimleri (GPU'lar) ve Tensör İşleme Birimleri (TPU'lar) gibi hızlandırıcılar gerektirebilir. Model Garden'daki modellerin çoğu, TPU'lar kullanılarak büyük veri kümelerinde eğitildi. Ancak, bu modelleri GPU ve CPU işlemcilerinde de eğitebilir ve çalıştırabilirsiniz.

Model Bahçe modelleri

Model Bahçesi'ndeki makine öğrenimi modelleri, araştırma ve deneme için test edebilmeniz, eğitebilmeniz veya yeniden eğitebilmeniz için tam kod içerir. Model Bahçe, iki temel model kategorisi içerir: resmi modeller ve araştırma modelleri .

Resmi modeller

Resmi Modeller deposu, görme ve doğal dil işlemeye (NLP) odaklanan son teknoloji modellerin bir koleksiyonudur. Bu modeller, mevcut TensorFlow 2.x üst düzey API'leri kullanılarak uygulanır. Bu havuzdaki model kitaplıkları, hızlı performans için optimize edilmiştir ve Google mühendisleri tarafından etkin bir şekilde korunur. Resmi modeller, Model Garden eğitim deney çerçevesini kullanarak deneyleri hızlı bir şekilde yapılandırmak için kullanabileceğiniz ek meta veriler içerir.

Araştırma modelleri

Araştırma Modelleri deposu, araştırma makaleleri için kod kaynakları olarak yayınlanan bir model koleksiyonudur. Bu modeller, hem TensorFlow 1.x hem de 2.x kullanılarak uygulanır. Araştırma klasöründeki model kitaplıkları, kod sahipleri ve araştırma topluluğu tarafından desteklenir.

Eğitim deneyi çerçevesi

Model Bahçe eğitim deneyi çerçevesi, resmi modelleri ve standart veri kümelerini kullanarak eğitim deneylerini hızlı bir şekilde bir araya getirmenize ve çalıştırmanıza olanak tanır. Eğitim çerçevesi, bildirime dayalı bir programlama modeli kullanarak modelleri hızlı bir şekilde yapılandırmanıza izin vermek için Model Garden'ın resmi modellerinde bulunan ek meta verileri kullanır. TensorFlow Model kitaplığındaki Python komutlarını kullanarak bir eğitim denemesi tanımlayabilir veya bu örnekte olduğu gibi bir YAML yapılandırma dosyası kullanarak eğitimi yapılandırabilirsiniz.

Eğitim çerçevesi, aşağıdaki üst düzey yapılandırma nesnelerini içeren yapılandırma nesnesi olarak tfm.core.base_trainer.ExperimentConfig kullanır:

  • runtime : İşleme donanımını, dağıtım stratejisini ve diğer performans optimizasyonlarını tanımlar
  • task : Modeli, eğitim verilerini, kayıpları ve başlatmayı tanımlar
  • trainer : İyileştiriciyi, eğitim döngülerini, değerlendirme döngülerini, özetleri ve kontrol noktalarını tanımlar

Model Bahçe eğitim deneme çerçevesini kullanan eksiksiz bir örnek için, Model Bahçe eğitimi ile Görüntü sınıflandırmasına bakın. Eğitim deneyi çerçevesi hakkında bilgi için TensorFlow Modelleri API belgelerine bakın . Model eğitimi deneyleriniz için eğitim döngülerini yönetmek üzere bir çözüm arıyorsanız, Orbit'e göz atın.

Özel makine öğrenimi işlemleri

Model Bahçesi, GPU'lar ve TPU'lar üzerinde verimli bir şekilde çalışan son teknoloji modelleri yürütmek için özel olarak tasarlanmış birçok vizyon ve NLP işlemi içerir. Özel görüntü işlemlerinin bir listesi için TensorFlow Modelleri Görüntü kitaplığı API belgelerini inceleyin. NLP işlemlerinin bir listesi için TensorFlow Modelleri NLP Kitaplığı API belgelerini inceleyin. Bu kitaplıklar ayrıca görüntü ve NLP veri işleme, eğitim ve model yürütme için kullanılan ek yardımcı işlevleri içerir.

Orbit ile eğitim döngüleri

TensorFlow modellerini eğitmek için iki varsayılan seçenek vardır:

  • Üst düzey Keras Model.fit işlevini kullanın. Modeliniz ve eğitim prosedürünüz Model.fit (veri yığınlarında artımlı gradyan iniş) yönteminin varsayımlarına uyuyorsa, bu çok uygun olabilir.
  • keras içeren veya içermeyen özel bir eğitim döngüsü yazın. tf.GradientTape veya tf.function gibi düşük düzeyli TensorFlow yöntemleriyle özel bir eğitim döngüsü yazabilirsiniz. Ancak bu yaklaşım, çok sayıda standart kod gerektirir ve dağıtılmış eğitimi basitleştirmek için hiçbir şey yapmaz.

Orbit, bu iki uç nokta arasında üçüncü bir seçenek sunmaya çalışır.

Orbit, TensorFlow 2.x'te özel eğitim döngüleri yazmayı kolaylaştırmak için tasarlanmış esnek, hafif bir kitaplıktır ve Model Bahçe eğitim deneyi çerçevesiyle iyi çalışır. Orbit, kontrol noktalarını kaydetme, model değerlendirmelerini çalıştırma ve özet yazımı ayarlama gibi yaygın model eğitimi görevlerini yerine getirir. tf.distribute ile sorunsuz bir şekilde bütünleşir ve CPU, GPU ve TPU donanımı dahil olmak üzere farklı cihaz türlerinde çalışmayı destekler. Orbit aracı da açık kaynak olduğundan model eğitimi gereksinimlerinizi genişletebilir ve uyarlayabilirsiniz.

Orbit rehberine buradan ulaşabilirsiniz .