тензорный поток:: обслуживание

Резюме

Определения типов

LoaderSource с использованием
Source < std::unique_ptr< Loader >>
StoragePathSourceAdapter с использованием
SourceAdapter < StoragePath, std::unique_ptr< Loader >>

Функции

DEFINE_CLASS_REGISTRY (StoragePathSourceAdapterRegistry, StoragePathSourceAdapter )
operator!= (const Loader::Metadata & a, const Loader::Metadata & b)
bool
operator!= (const ServableStateSnapshot< T > & a, const ServableStateSnapshot< T > & b)
bool
operator!= (const ServableHandle < T > & l, const ServableHandle < U > & r)
constexpr bool
operator!= (const ServableStateMonitor::ServableStateAndTime & a, const ServableStateMonitor::ServableStateAndTime & b)
bool
operator<< (std::ostream & os, LoaderHarness::State state)
std::ostream &
operator<< (std::ostream & os, const ServableStateMonitor::ServableStateAndTime & state_and_time)
std::ostream &
operator== (const AspiredVersionPolicy::ServableAction & lhs, const AspiredVersionPolicy::ServableAction & rhs)
bool
operator== (const Loader::Metadata & a, const Loader::Metadata & b)
bool
operator== (const ServableStateSnapshot< T > & a, const ServableStateSnapshot< T > & b)
bool
operator== (const ServableHandle < T > & l, const ServableHandle < U > & r)
constexpr bool
operator== (const ServableStateMonitor::ServableStateAndTime & a, const ServableStateMonitor::ServableStateAndTime & b)
bool

Классы

tensorflow::serving::AspiredVersionPolicy

Интерфейс для политики, применяемой для перехода обслуживаемых версий в обслуживаемом потоке.

tensorflow::serving::AspiredVersionsManager

Диспетчер, который реализует Target< Loader > API, который использует обратные вызовы предполагаемых версий, чтобы указать, какие обслуживаемые версии загружать.

tensorflow::serving::AspiredVersionsManagerBuilder

Создает AspiredVersionsManager с подключенными к нему параметрами и источниками.

tensorflow::serving::BasicManager

Помогает управлять жизненным циклом servables, включая их загрузку, обслуживание и выгрузку.

tensorflow::serving::CachingManager

Менеджер, который управляет серверами и загружает их по требованию.

tensorflow::serving::ClassifierInterface

Независимый от модели интерфейс для выполнения классификации.

tensorflow::serving::ErrorInjectingSourceAdapter
tensorflow::serving::FileSystemStoragePathSource

Источник пути к хранилищу, который запрашивает версии для заданного набора обслуживаемых объектов.

tensorflow::serving::Loader

Стандартизированная абстракция для объекта, который управляет жизненным циклом обслуживаемого объекта, включая его загрузку и выгрузку.

tensorflow::serving::LoaderHarness

LoaderHarness — это виджет, который менеджер использует для удержания и общения с загрузчиком , пока он им владеет.

tensorflow::serving::Менеджер

Менеджер отвечает за загрузку, выгрузку, поиск и управление временем жизни всех объектов Servable через их загрузчики.

tensorflow::serving::PathPrefixLoaderFactory

Простой LoaderFactory, который ищет обслуживаемый объект по пути, образованному путем объединения префикса фиксированного пути с именем обслуживаемого объекта.

tensorflow::serving::RegressorInterface

Независимый от модели интерфейс для выполнения регрессии.

tensorflow::serving::ResourceUnsafeLoader

Загрузчик , не обращающий внимания на ресурсы.

tensorflow::serving::SavedModelBundleFactory

Фабрика, которая создает SavedModelBundles из путей экспорта SavedModel или SessionBundle.

tensorflow::serving::ServableHandle

Интеллектуальный указатель на базовый обслуживаемый объект T, полученный из Loader .

tensorflow::serving::ServableStateMonitor

Утилита, которая прослушивает EventBus<ServableState> и отслеживает состояние каждого обслуживаемого объекта, упомянутого на шине.

тензорный поток::обслуживание::ServerCore

ServerCore содержит состояния и вспомогательные методы, позволяющие создавать ModelServer, поддерживающие несколько интерфейсов.

tensorflow::serving::ServingSession

Сессия, которая блокирует методы изменения состояния, такие как Close(), в то же время разрешая Run() для доступа только для чтения (не принудительно).

tensorflow::serving::ServingSessionWrapper

ServingSession , который упаковывает данный сеанс и блокирует все вызовы, кроме Run().

тензорный поток:: обслуживание:: SharedPtrHandle

Реализация UntypedServableHandle с использованием shared_ptr для подсчета ссылок на загрузчике , которому принадлежит Servable.

тензорный поток::обслуживание::Источник

Абстракция для модуля, который получает серверные объекты для загрузки или, точнее, обрабатывает данные, которые можно использовать для загрузки этих сервисных объектов.

tensorflow::serving::SourceAdapter

Абстракция для модуля, который получает обратные вызовы предполагаемой версии с данными типа InputType и преобразует их в вызовы с данными типа OutputType.

tensorflow::serving::UnarySourceAdapter
tensorflow::serving::UntypedServableHandle

Нешаблонный дескриптор обслуживаемого объекта, используемый внутри диспетчера для извлечения обслуживаемого объекта со стертым типом из загрузчика .

Структуры

tensorflow::serving::AspiredServableStateSnapshot

Моментальный снимок состояния и готовности подаваемого объекта.

tensorflow::serving::ServableRequest

Запрос для конкретного загруженного обслуживаемого объекта.

tensorflow::serving::ServableStateSnapshot

Пространства имен

тензорный поток::обслуживание::внутренний
tensorflow::serving::test_util

Определения типов

Источник загрузки

Source< std::unique_ptr< Loader >> LoaderSource

StoragePathSourceAdapter

SourceAdapter< StoragePath, std::unique_ptr< Loader >> StoragePathSourceAdapter

Функции

DEFINE_CLASS_REGISTRY

 DEFINE_CLASS_REGISTRY(
  StoragePathSourceAdapterRegistry,
  StoragePathSourceAdapter
)

оператор!=

bool operator!=(
  const Loader::Metadata & a,
  const Loader::Metadata & b
)

оператор!=

bool operator!=(
  const ServableStateSnapshot< T > & a,
  const ServableStateSnapshot< T > & b
)

оператор!=

constexpr bool operator!=(
  const ServableHandle< T > & l,
  const ServableHandle< U > & r
)

оператор!=

bool operator!=(
  const ServableStateMonitor::ServableStateAndTime & a,
  const ServableStateMonitor::ServableStateAndTime & b
)

оператор

std::ostream & operator<<(
  std::ostream & os,
  LoaderHarness::State state
)

оператор

std::ostream & operator<<(
  std::ostream & os,
  const ServableStateMonitor::ServableStateAndTime & state_and_time
)

оператор==

bool operator==(
  const AspiredVersionPolicy::ServableAction & lhs,
  const AspiredVersionPolicy::ServableAction & rhs
)

оператор==

bool operator==(
  const Loader::Metadata & a,
  const Loader::Metadata & b
)

оператор==

bool operator==(
  const ServableStateSnapshot< T > & a,
  const ServableStateSnapshot< T > & b
)

оператор==

constexpr bool operator==(
  const ServableHandle< T > & l,
  const ServableHandle< U > & r
)

оператор==

bool operator==(
  const ServableStateMonitor::ServableStateAndTime & a,
  const ServableStateMonitor::ServableStateAndTime & b
)