Google I / Oの基調講演、製品セッション、ワークショップなどを見るプレイリストを見る

BERT質問回答者を統合する

タスクライブラリBertQuestionAnswererは、Bertモデルをロードし、特定のパッセージのコンテンツに基づいて質問に回答します。詳細については、こちらの質問-回答モデルのドキュメントを参照してください

BertQuestionAnswererAPIの主な機能

  • 質問とコンテキストとして2つのテキスト入力を受け取り、可能な回答のリストを出力します。

  • 入力テキストに対してグラフ外のワードピースまたはセンテンスピースのトークン化を実行します。

サポートされているBertQuestionAnswererモデル

次のモデルは、 BertNLClassifierと互換性があります。

Javaで推論を実行する

ステップ1:Gradleの依存関係とその他の設定をインポートする

.tfliteモデルファイルを、モデルが実行されるAndroidモジュールのassetsディレクトリにコピーします。ファイルを圧縮しないように指定し、TensorFlowLiteライブラリをモジュールのbuild.gradleファイルに追加します。

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Text Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.2.0'
}

ステップ2:APIを使用して推論を実行する

// Initialization
BertQuestionAnswerer answerer = BertQuestionAnswerer.createFromFile(androidContext, modelFile);

// Run inference
List<QaAnswer> answers = answerer.answer(contextOfTheQuestion, questionToAsk);

詳細については、 ソースコードを参照してください。

Swiftで推論を実行する

ステップ1:CocoaPodsをインポートする

PodfileにTensorFlowLiteTaskTextポッドを追加します

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.2.0'
end

ステップ2:APIを使用して推論を実行する

// Initialization
let mobileBertAnswerer = TFLBertQuestionAnswerer.questionAnswerer(
      modelPath: mobileBertModelPath)

// Run inference
let answers = mobileBertAnswerer.answer(
      context: context, question: question)

詳細については、 ソースコードを参照してください。

C ++で推論を実行する

// Initialization
BertQuestionAnswererOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_file);
std::unique_ptr<BertQuestionAnswerer> answerer = BertQuestionAnswerer::CreateFromOptions(options).value();

// Run inference
std::vector<QaAnswer> positive_results = answerer->Answer(context_of_question, question_to_ask);

詳細については、 ソースコードを参照してください。

結果の例

これは、 ALBERTモデルの回答結果の例です。

コンテキスト:「アマゾン熱帯雨林、または英語でアマゾニアとしても知られているアマゾンジャングルは、南アメリカのアマゾン盆地のほとんどをカバーするアマゾンバイオームの湿った広葉樹熱帯雨林です。この盆地は7,000,000 km2(2,700,000平方マイル)、そのうち5,500,000 km2(2,100,000 sq mi)が熱帯雨林に覆われています。この地域には、9か国に属する地域が含まれています。」

質問:「アマゾンの熱帯雨林はどこにありますか?」

回答:

answer[0]:  'South America.'
logit: 1.84847, start_index: 39, end_index: 40
answer[1]:  'most of the Amazon basin of South America.'
logit: 1.2921, start_index: 34, end_index: 40
answer[2]:  'the Amazon basin of South America.'
logit: -0.0959535, start_index: 36, end_index: 40
answer[3]:  'the Amazon biome that covers most of the Amazon basin of South America.'
logit: -0.498558, start_index: 28, end_index: 40
answer[4]:  'Amazon basin of South America.'
logit: -0.774266, start_index: 37, end_index: 40

独自のモデルとテストデータを使用して、BertQuestionAnswerer用のシンプルなCLIデモツールを試してみてください。

モデルの互換性要件

BertQuestionAnswerer APIは、必須のTFLiteモデルメタデータを含むTFLiteモデルを想定しています。

メタデータは、次の要件を満たす必要があります。

  • input_process_units / SentencepieceTokenizerのinput_process_units

  • トークナイザーの出力用の「ids」、「mask」、「segment_ids」という名前の3つの入力テンソル

  • コンテキスト内での回答の相対位置を示す「end_logits」および「start_logits」という名前の2つの出力テンソル