przepływ tensorowy:: porcja:: ZapisanoModelBundleFactory
#include <saved_model_bundle_factory.h>
Fabryka, która tworzy SavedModelBundles na podstawie ścieżek eksportu SavedModel lub SessionBundle.
Streszczenie
Emitowane sesje obsługują tylko Run() i chociaż nie są one wymuszane, oczekuje się, że klient będzie wykonywał tylko niemutujące wywołania Run(). (Jeśli to ograniczenie, które dodaliśmy jako środek bezpieczeństwa, jest problematyczne w Twoim przypadku użycia, skontaktuj się z zespołem TensorFlow Serving, aby omówić jego wyłączenie.)
Jeśli konfiguracja wywołuje przetwarzanie wsadowe, emitowane sesje automatycznie wywołują w tle Run() w tle, używając SharedBatchScheduler należącego do fabryki. Wątki „config.num_batch_threads” są współużytkowane we wszystkich wystąpieniach sesji utworzonych przez tę fabrykę. Jednak każda sesja ma własną dedykowaną kolejkę o rozmiarze „config.max_enqueued_batches”.
Fabryka może również oszacować wymagania dotyczące zasobów (np. pamięci RAM) pakietu SavedModelBundle na podstawie SavedModel (tj. przed załadowaniem sesji).
Ta klasa jest bezpieczna wątkowo.
Publiczne funkcje statyczne | |
---|---|
Create (const SessionBundleConfig & config, std::unique_ptr< SavedModelBundleFactory > *factory) | Status Instancję SavedModelBundleFactory użyciu config. |
Funkcje publiczne | |
---|---|
CreateSavedModelBundle (const string & path, std::unique_ptr< SavedModelBundle > *bundle) | Status Tworzy wystąpienie pakietu z podanej ścieżki eksportu lub SavedModel. |
CreateSavedModelBundleWithMetadata (const Loader::Metadata & metadata, const string & path, std::unique_ptr< SavedModelBundle > *bundle) | Status Tworzy wystąpienie pakietu z podanej ścieżki eksportu lub SavedModel i podanych metadanych. |
EstimateResourceRequirement (const string & path, ResourceAllocation *estimate) const | Status Szacuje zasoby, z których pakiet SavedModel będzie używany po załadowaniu, na podstawie ścieżki eksportu. |
config () const | const SessionBundleConfig & |
Publiczne funkcje statyczne
Tworzyć
Status Create( const SessionBundleConfig & config, std::unique_ptr< SavedModelBundleFactory > *factory )
Instancję SavedModelBundleFactory użyciu config.
Detale | |||||
---|---|---|---|---|---|
Parametry |
|
Funkcje publiczne
Utwórz zapisany pakiet modeli
Status CreateSavedModelBundle( const string & path, std::unique_ptr< SavedModelBundle > *bundle )
Tworzy wystąpienie pakietu z podanej ścieżki eksportu lub SavedModel.
Detale | |||||
---|---|---|---|---|---|
Parametry |
|
Utwórz zapisany pakiet modeli z metadanymi
Status CreateSavedModelBundleWithMetadata( const Loader::Metadata & metadata, const string & path, std::unique_ptr< SavedModelBundle > *bundle )
Tworzy wystąpienie pakietu z podanej ścieżki eksportu lub SavedModel i podanych metadanych.
Detale | |||||||
---|---|---|---|---|---|---|---|
Parametry |
|
Szacunkowe wymagania dotyczące zasobów
Status EstimateResourceRequirement( const string & path, ResourceAllocation *estimate ) const
Szacuje zasoby, z których pakiet SavedModel będzie używany po załadowaniu, na podstawie ścieżki eksportu.
Detale | |||||
---|---|---|---|---|---|
Parametry |
|
konfiguracja
const SessionBundleConfig & config() const