入力データセットをシャーディングするデータセットを作成します。
入力データセットをnum_workersでシャーディングするデータセットを作成し、インデックス番目のワーカーのシャーディングされたデータセットを返します。これは、データセットグラフを調べ、リーダーデータセット(CSVDataset、TFRecordDatasetなど)への入力の前にシャード操作を挿入することにより、データセットを自動的にシャーディングしようとします。
データセットを自動的にシャーディングできない場合、このデータセットはNotFoundエラーをスローします。
ネストされたクラス
クラス | ExperimentalAutoShardDataset.Options | ExperimentalAutoShardDataset オプションの属性 |
パブリックメソッド
出力<オブジェクト> | asOutput () テンソルのシンボリックハンドルを返します。 |
静的ExperimentalAutoShardDataset.Options | autoShardPolicy (長いautoShardPolicy) |
静的ExperimentalAutoShardDataset | |
出力<?> | ハンドル() |
継承されたメソッド
パブリックメソッド
public Output <Object> asOutput ()
テンソルのシンボリックハンドルを返します。
TensorFlow操作への入力は、別のTensorFlow操作の出力です。このメソッドは、入力の計算を表すシンボリックハンドルを取得するために使用されます。
public static ExperimentalAutoShardDataset create (スコープスコープ、オペランド<?> inputDataset、オペランド<Long> numWorkers、オペランド<Long>インデックス、リスト<クラス<?>> outputTypes、リスト<シェイプ> outputShapes、オプション...オプション)
新しいExperimentalAutoShardDataset操作をラップするクラスを作成するファクトリメソッド。
パラメーター
範囲 | 現在のスコープ |
---|---|
inputDataset | 入力データセットを表すバリアントテンソル。 |
numWorkers | このデータセットを分散するワーカーの数を表すスカラー。 |
インデックス | num_workersのうちの現在のワーカーのインデックスを表すスカラー。 |
オプション | オプションの属性値を運ぶ |
戻り値
- ExperimentalAutoShardDatasetの新しいインスタンス