AutoShardDataset

공개 최종 클래스 AutoShardDataset

입력 데이터 세트를 샤딩하는 데이터 세트를 생성합니다.

num_workers별로 입력 데이터 세트를 샤딩하고 인덱스 번째 작업자에 대해 샤딩된 데이터 세트를 반환하는 데이터 세트를 생성합니다. 이는 데이터 세트 그래프를 검사하고 리더 데이터 세트(예: CSVDataset, TFRecordDataset)에 대한 입력 앞에 샤드 작업을 삽입하여 데이터 세트를 자동으로 샤딩하려고 시도합니다.

데이터 세트를 자동으로 샤딩할 수 없는 경우 이 데이터 세트는 NotFound 오류를 발생시킵니다.

중첩 클래스

수업 AutoShardDataset.옵션 AutoShardDataset 의 선택적 속성

상수

OP_NAME TensorFlow 코어 엔진에서 알려진 이 작업의 이름

공개 방법

출력 < T유형 >
출력 ()
텐서의 기호 핸들을 반환합니다.
정적 AutoShardDataset.옵션
autoShardPolicy (긴 autoShardPolicy)
정적 AutoShardDataset
생성 ( 범위 범위, 피연산자 <?> inputDataset, 피연산자 < TInt64 > numWorkers, 피연산자 < TInt64 > index, List<Class<? 확장 TType >> 출력 유형, 목록< 모양 > outputShapes, 옵션... 옵션)
새로운 AutoShardDataset 작업을 래핑하는 클래스를 생성하는 팩토리 메서드입니다.
출력 <?>
핸들 ()

상속된 메서드

상수

공개 정적 최종 문자열 OP_NAME

TensorFlow 코어 엔진에서 알려진 이 작업의 이름

상수 값: "ExperimentalAutoShardDataset"

공개 방법

공개 출력 < TType > asOutput ()

텐서의 기호 핸들을 반환합니다.

TensorFlow 작업에 대한 입력은 다른 TensorFlow 작업의 출력입니다. 이 메서드는 입력 계산을 나타내는 기호 핸들을 얻는 데 사용됩니다.

공개 정적 AutoShardDataset.Options autoShardPolicy (Long autoShardPolicy)

public static AutoShardDataset create ( Scope 범위, Operand <?> inputDataset, Operand < TInt64 > numWorkers, Operand < TInt64 > index, List<Class<? 확장 TType >> outputTypes, List< Shape > outputShapes, 옵션... 옵션)

새로운 AutoShardDataset 작업을 래핑하는 클래스를 생성하는 팩토리 메서드입니다.

매개변수
범위 현재 범위
입력데이터세트 입력 데이터 세트를 나타내는 변형 텐서입니다.
작업자 수 이 데이터 세트를 배포할 작업자 수를 나타내는 스칼라입니다.
색인 num_workers 중 현재 작업자의 인덱스를 나타내는 스칼라입니다.
옵션 선택적 속성 값을 전달합니다.
보고
  • AutoShardDataset의 새 인스턴스

공개 출력 <?> 핸들 ()