Integrieren Sie den BERT-Fragebeantworter

Die BertQuestionAnswerer API der Aufgabenbibliothek lädt ein Bert-Modell und beantwortet Fragen basierend auf dem Inhalt einer bestimmten Passage. Weitere Informationen finden Sie in der Dokumentation zum Frage-Antwort-Modell hier .

Hauptmerkmale der BertQuestionAnswerer-API

  • Nimmt zwei Texteingaben als Frage und Kontext und gibt eine Liste möglicher Antworten aus.

  • Führt nicht grafische Wordpiece- oder Satzstück-Tokenisierungen für Eingabetext durch.

Unterstützte BertQuestionAnswerer-Modelle

Die folgenden Modelle sind mit der BertNLClassifier API kompatibel.

Führen Sie Inferenz in Java aus

Schritt 1: Importieren Sie die Gradle-Abhängigkeit und andere Einstellungen

Kopieren Sie die .tflite Modelldatei in das Assets-Verzeichnis des Android-Moduls, in dem das Modell ausgeführt wird. Geben Sie an, dass die Datei nicht komprimiert werden soll, und fügen Sie die TensorFlow Lite-Bibliothek zur build.gradle Datei des Moduls build.gradle :

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Text Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.2.0'
}

Schritt 2: Führen Sie die Inferenz mithilfe der API aus

// Initialization
BertQuestionAnswerer answerer = BertQuestionAnswerer.createFromFile(androidContext, modelFile);

// Run inference
List<QaAnswer> answers = answerer.answer(contextOfTheQuestion, questionToAsk);

Weitere Informationen finden Sie im Quellcode .

Führen Sie eine Inferenz in Swift aus

Schritt 1: Importieren Sie CocoaPods

Fügen Sie den TensorFlowLiteTaskText-Pod in Podfile hinzu

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.2.0'
end

Schritt 2: Führen Sie die Inferenz mithilfe der API aus

// Initialization
let mobileBertAnswerer = TFLBertQuestionAnswerer.questionAnswerer(
      modelPath: mobileBertModelPath)

// Run inference
let answers = mobileBertAnswerer.answer(
      context: context, question: question)

Weitere Informationen finden Sie im Quellcode .

Führen Sie Inferenz in C ++ aus

// Initialization
BertQuestionAnswererOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_file);
std::unique_ptr<BertQuestionAnswerer> answerer = BertQuestionAnswerer::CreateFromOptions(options).value();

// Run inference
std::vector<QaAnswer> positive_results = answerer->Answer(context_of_question, question_to_ask);

Weitere Informationen finden Sie im Quellcode .

Beispielergebnisse

Hier ist ein Beispiel für die Antwortergebnisse des ALBERT-Modells .

Kontext: "Der Amazonas-Regenwald, alternativ der Amazonas-Dschungel, auf Englisch auch als Amazonien bekannt, ist ein feuchter tropischer Regenwald im Amazonas-Biom, der den größten Teil des Amazonas-Beckens Südamerikas bedeckt. Dieses Becken umfasst 7.000.000 km2 ), von denen 5.500.000 km2 vom Regenwald bedeckt sind. Diese Region umfasst Gebiete von neun Nationen. "

Frage: "Wo ist der Amazonas-Regenwald?"

Antworten:

answer[0]:  'South America.'
logit: 1.84847, start_index: 39, end_index: 40
answer[1]:  'most of the Amazon basin of South America.'
logit: 1.2921, start_index: 34, end_index: 40
answer[2]:  'the Amazon basin of South America.'
logit: -0.0959535, start_index: 36, end_index: 40
answer[3]:  'the Amazon biome that covers most of the Amazon basin of South America.'
logit: -0.498558, start_index: 28, end_index: 40
answer[4]:  'Amazon basin of South America.'
logit: -0.774266, start_index: 37, end_index: 40

Probieren Sie das einfache CLI-Demo-Tool für BertQuestionAnswerer mit Ihren eigenen Modell- und Testdaten aus.

Modellkompatibilitätsanforderungen

Die BertQuestionAnswerer API erwartet ein TFLite-Modell mit obligatorischen TFLite-Modellmetadaten .

Die Metadaten sollten die folgenden Anforderungen erfüllen:

  • input_process_units für Wordpiece / Sentencepiece Tokenizer

  • 3 Eingabetensoren mit den Namen "ids", "mask" und "segment_ids" für die Ausgabe des Tokenizers

  • 2 Ausgabe-Tensoren mit den Namen "end_logits" und "start_logits" geben die relative Position der Antwort im Kontext an