AutoShardDataset

パブリック最終クラスAutoShardDataset

入力データセットをシャーディングするデータセットを作成します。

入力データセットを num_workers でシャードするデータセットを作成し、インデックス番目のワーカーのシャード データセットを返します。これは、データセット グラフを調べ、リーダー データセット (CSVDataset、TFRecordDataset など) への入力の前にシャード オペレーションを挿入することによって、データセットを自動的にシャード化しようとします。

データセットを自動的にシャーディングできない場合、このデータセットは NotFound エラーをスローします。

ネストされたクラス

クラスAutoShardDataset.Options AutoShardDatasetのオプションの属性

定数

OP_NAME TensorFlow コア エンジンによって認識される、この演算の名前

パブリックメソッド

出力< TType >
asOutput ()
テンソルのシンボリック ハンドルを返します。
静的AutoShardDataset.Options
autoShardPolicy (長い autoShardPolicy)
静的AutoShardDataset
create ( Scopeスコープ、オペランド<?> inputDataset、オペランド< TInt64 > numWorkers、オペランド< TInt64 > インデックス、List<Class<? extends TType >> OutputTypes、List< Shape > OutputShapes、 Options... options)
新しい AutoShardDataset オペレーションをラップするクラスを作成するためのファクトリ メソッド。
出力<?>

継承されたメソッド

定数

パブリック静的最終文字列OP_NAME

TensorFlow コア エンジンによって認識される、この演算の名前

定数値: "ExperimentalAutoShardDataset"

パブリックメソッド

public Output < TType > asOutput ()

テンソルのシンボリック ハンドルを返します。

TensorFlow オペレーションへの入力は、別の TensorFlow オペレーションの出力です。このメソッドは、入力の計算を表すシンボリック ハンドルを取得するために使用されます。

public static AutoShardDataset.Options autoShardPolicy (Long autoShardPolicy)

public static AutoShardDataset create ( Scopeスコープ、オペランド<?> inputDataset、オペランド< TInt64 > numWorkers、オペランド< TInt64 > インデックス、List<Class<? extends TType >> OutputTypes、List< Shape > OutputShapes、 Options...オプション)

新しい AutoShardDataset オペレーションをラップするクラスを作成するためのファクトリ メソッド。

パラメーター
範囲現在のスコープ
入力データセット入力データセットを表すバリアント テンソル。
労働者の数このデータセットを分散するワーカーの数を表すスカラー。
索引num_workers のうちの現在のワーカーのインデックスを表すスカラー。
オプションオプションの属性値を持ちます
戻り値
  • AutoShardDataset の新しいインスタンス

public出力<?>ハンドル()