入力データセットをシャーディングするデータセットを作成します。
入力データセットをnum_workersでシャーディングするデータセットを作成し、インデックス番目のワーカーのシャーディングされたデータセットを返します。これは、データセットグラフを調べ、リーダーデータセット(CSVDataset、TFRecordDatasetなど)への入力の前にシャード操作を挿入することにより、データセットを自動的にシャーディングしようとします。
データセットを自動的にシャーディングできない場合、このデータセットはNotFoundエラーをスローします。
ネストされたクラス
クラス | AutoShardDataset.Options | AutoShardDataset オプションの属性 |
パブリックメソッド
出力<オブジェクト> | asOutput () テンソルのシンボリックハンドルを返します。 |
静的AutoShardDataset.Options | autoShardPolicy (長いautoShardPolicy) |
静的AutoShardDataset | |
出力<?> | ハンドル() |
静的AutoShardDataset.Options | numReplicas (長いnumReplicas) |
継承されたメソッド
パブリックメソッド
public Output <Object> asOutput ()
テンソルのシンボリックハンドルを返します。
TensorFlow操作への入力は、別のTensorFlow操作の出力です。このメソッドは、入力の計算を表すシンボリックハンドルを取得するために使用されます。
public static AutoShardDataset create (スコープスコープ、 Operand <?> inputDataset、 Operand <Long> numWorkers、 Operand <Long> index、List <Class <?>> outputTypes、List < Shape > outputShapes、 Options ... options)
新しいAutoShardDataset操作をラップするクラスを作成するファクトリメソッド。
パラメーター
範囲 | 現在のスコープ |
---|---|
inputDataset | 入力データセットを表すバリアントテンソル。 |
numWorkers | このデータセットを分散するワーカーの数を表すスカラー。 |
インデックス | num_workersのうちの現在のワーカーのインデックスを表すスカラー。 |
オプション | オプションの属性値を運ぶ |
戻り値
- AutoShardDatasetの新しいインスタンス