XlaSendTPUEmbeddingGradients

공개 최종 클래스 XlaSendTPUEmbeddingGradients

임베딩 테이블의 그라데이션 업데이트를 수행하는 작업입니다.

그래디언트 인수는 XlaRecvTPUEmbeddingActivations의 반환 값과 길이와 모양이 동일하지만 임베딩 활성화와 관련된 모델 손실의 그래디언트를 포함하는 TensorList입니다. 임베딩 테이블은 tpu.initialize_system에 제공된 TPUEmbeddingConfiguration proto에 지정된 최적화 프로그램을 통해 이러한 그라데이션에서 업데이트됩니다.

공개 방법

정적 XlaSendTPUEmbeddingGradients
생성 ( Scope 범위, Iterable< Operand <Float>> 그래디언트, Iterable< Operand <Float>> learningRates, Operand <?> deduplicationData, String config)
새로운 XlaSendTPUEmbeddingGradients 작업을 래핑하는 클래스를 생성하는 팩토리 메서드입니다.

상속된 메서드

공개 방법

공개 정적 XlaSendTPUEmbeddingGradients 생성 ( 범위 범위, Iterable< Operand <Float>> 그래디언트, Iterable< Operand <Float>> learningRates, Operand <?> deduplicationData, 문자열 구성)

새로운 XlaSendTPUEmbeddingGradients 작업을 래핑하는 클래스를 생성하는 팩토리 메서드입니다.

매개변수
범위 현재 범위
그라데이션 임베딩 테이블을 업데이트하는 데 사용할 그래디언트의 TensorList입니다.
학습요율 최적화 프로그램을 통해 임베딩 테이블을 업데이트하는 데 사용되는 학습률의 TensorList입니다. TensorList의 길이는 TPUEmbeddingConfiguration proto에 지정된 동적 학습률 태그 수와 동일해야 합니다.
중복제거데이터 중복 제거 데이터를 포함하는 유형=DT_VARIANT의 Tensor입니다. 텐서는 N 요소를 포함하는 XLA 중첩 튜플입니다. 여기서 N은 TPU 칩당 텐서 코어에 대한 임베딩 수의 비율입니다. 중첩된 튜플의 각 요소는 순위 1 텐서의 튜플입니다. 각 텐서는 TensorCore에 임베딩 조회를 위한 인덱스(DT_UINT32) 또는 임베딩 조회 작업의 출력에 적용할 가중치(DT_FLOAT)를 포함합니다.
구성 직렬화된 TPUEmbeddingConfiguration proto.
보고
  • XlaSendTPUEmbeddingGradients의 새 인스턴스