구성
TFMA는에 구성을 저장하는 프로토 JSON으로 직렬화한다. 이 프로토타입은 입력 데이터, 출력 데이터, 모델 사양, 미터법 사양 및 슬라이싱 사양에 필요한 구성을 통합합니다.
모든 TFMA 파이프라인은 기준(기본) 모델 및 0개 이상의 후보(2차) 모델과 연결됩니다. 기준 및 후보 모델은 파이프라인 시작 시 사용자가 정의하며 각각 고유한 이름이 필요합니다. 다음은 사용자가 사용할 수 있는 일반적인 구성 설정의 예입니다.
- 단일 모델 평가:
- N/A(이름 없음)
- 검증 기반 평가:
-
baseline -
candidate
-
- 모델 비교 평가:
-
my_model_a -
my_model_b
-
모델 사양
모델 사양 유형입니다 tfma.ModelSpec 과 모델의 위치뿐만 아니라 다른 모델 특정 매개 변수를 정의하는 데 사용됩니다. 예를 들어 다음은 평가를 실행하기 전에 구성해야 하는 일반적인 설정입니다.
-
name- 모델의 이름 (여러 모델이 사용 된 경우) -
signature_name- 예측에 사용되는 서명의 이름 (기본값은serving_default). 사용evalEvalSavedModel를 사용하는 경우. -
label_key- 라벨과 관련된 기능의 이름입니다. -
example_weight_key- 예제 무게 지을 수 있었던 기능의 이름입니다.
측정항목 사양
메트릭 사양 유형입니다 tfma.MetricsSpec 및 평가의 한 부분으로 계산됩니다 메트릭을 구성하는 데 사용됩니다. 다양한 기계 학습 문제는 다양한 유형의 메트릭을 사용하며 TFMA는 계산되는 메트릭을 구성하고 사용자 지정하기 위한 많은 옵션을 제공합니다. 메트릭 TFMA의 매우 큰 부분이므로, 그들은 개별적으로 상세하게 설명하는 통계 .
슬라이싱 사양
슬라이스 사양은 유형입니다 tfma.SlicingSpec 및 평가시 사용되는 조각 기준을 구성하는 데 사용됩니다. 슬라이스에 의해 중 하나를 수행 할 수 있습니다 feature_keys , feature_values , 또는 둘 다. 슬라이싱 사양의 몇 가지 예는 다음과 같습니다.
-
{}- 전체 데이터로 구성된 슬라이스.
-
{ feature_keys: ["country"] }- "국가" 기능의 모든 값에 대한 조각입니다. 예를 들어 "country:us", "country:jp" 등의 조각을 얻을 수 있습니다.
-
{ feature_values: [{key: "country", value: "us"}] }- "country:us"로 구성된 슬라이스.
-
{ feature_keys: ["country", "city"] }- "국가" 기능의 모든 값에 대한 조각이 "도시" 기능의 모든 값과 교차합니다(비용이 많이 들 수 있음).
-
{ feature_keys: ["country"] feature_values: [{key: "age", value: "20"}] }- 특성 "country"의 모든 값에 대한 조각과 값 "age:20"이 교차됨
기능 키는 변환된 기능 또는 원시 입력 기능일 수 있습니다. 참조 tfma.SlicingSpec 자세한 내용은.
평가 공유 모델
구성 설정에 더하여, TFMA도의 인스턴스 것을 요구 tfma.EvalSharedModel 같은 프로세스에서 여러 스레드 사이의 모델을 공유하기 위해 생성 될 수있다. 공유 모델 인스턴스에는 모델 유형(keras 등)과 디스크의 저장된 위치(예: 태그 등)에서 모델을 로드하고 구성하는 방법에 대한 정보가 포함됩니다. tfma.default_eval_shared_model API는 경로를 주어진 및 태그의 설정 기본 인스턴스를 만들 수 있습니다.