บูรณาการผู้ตอบคำถาม BERT

ไลบรารีงาน BertQuestionAnswerer API โหลดแบบจำลอง Bert และตอบคำถามตามเนื้อหาของข้อความที่กำหนด สำหรับข้อมูลเพิ่มเติมโปรดดูเอกสารสำหรับโมเดลคำถาม - คำตอบ ที่นี่

คุณสมบัติหลักของ BertQuestionAnswerer API

  • รับอินพุตข้อความสองรายการเป็นคำถามและบริบทและแสดงรายการคำตอบที่เป็นไปได้

  • ดำเนินการโทเค็น Wordpiece หรือ Sentencepiece ที่ไม่อยู่ในกราฟบนข้อความที่ป้อน

รุ่น BertQuestionAnswerer ที่รองรับ

โมเดลต่อไปนี้เข้ากันได้กับ BertNLClassifier API

รันการอนุมานใน Java

ขั้นตอนที่ 1: นำเข้า Gradle dependency และการตั้งค่าอื่น ๆ

คัดลอกไฟล์โมเดล. .tflite ไปยังไดเร็กทอรี assets ของโมดูล Android ที่จะเรียกใช้โมเดล ระบุว่าไม่ควรบีบอัดไฟล์และเพิ่มไลบรารี TensorFlow Lite ในไฟล์ build.gradle ของโมดูล:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Text Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.2.0'
}

ขั้นตอนที่ 2: เรียกใช้การอนุมานโดยใช้ API

// Initialization
BertQuestionAnswerer answerer = BertQuestionAnswerer.createFromFile(androidContext, modelFile);

// Run inference
List<QaAnswer> answers = answerer.answer(contextOfTheQuestion, questionToAsk);

ดู ซอร์สโค้ด สำหรับรายละเอียดเพิ่มเติม

เรียกใช้การอนุมานใน Swift

ขั้นตอนที่ 1: นำเข้า CocoaPods

เพิ่ม TensorFlowLiteTaskText pod ใน Podfile

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.2.0'
end

ขั้นตอนที่ 2: เรียกใช้การอนุมานโดยใช้ API

// Initialization
let mobileBertAnswerer = TFLBertQuestionAnswerer.questionAnswerer(
      modelPath: mobileBertModelPath)

// Run inference
let answers = mobileBertAnswerer.answer(
      context: context, question: question)

ดู ซอร์สโค้ด สำหรับรายละเอียดเพิ่มเติม

เรียกใช้การอนุมานใน C ++

// Initialization
BertQuestionAnswererOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_file);
std::unique_ptr<BertQuestionAnswerer> answerer = BertQuestionAnswerer::CreateFromOptions(options).value();

// Run inference
std::vector<QaAnswer> positive_results = answerer->Answer(context_of_question, question_to_ask);

ดู ซอร์สโค้ด สำหรับรายละเอียดเพิ่มเติม

ตัวอย่างผลลัพธ์

นี่คือตัวอย่างของผลลัพธ์คำตอบของ แบบจำลอง ALBERT

บริบท: "ป่าฝนอเมซอนหรือที่เรียกกันในภาษาอังกฤษว่า Amazonia คือป่าฝนใบกว้างชื้นในพื้นที่ชีวภาพของอเมซอนที่ครอบคลุมพื้นที่ส่วนใหญ่ของแอ่งอเมซอนของอเมริกาใต้แอ่งนี้มีพื้นที่ 7,000,000 กม. ) ซึ่งมีป่าฝนปกคลุม 5,500,000 ตารางกิโลเมตร (2,100,000 ตารางไมล์) ภูมิภาคนี้รวมถึงดินแดนที่เป็นของเก้าประเทศ "

คำถาม: ป่าฝนอเมซอนอยู่ที่ไหน?

คำตอบ:

answer[0]:  'South America.'
logit: 1.84847, start_index: 39, end_index: 40
answer[1]:  'most of the Amazon basin of South America.'
logit: 1.2921, start_index: 34, end_index: 40
answer[2]:  'the Amazon basin of South America.'
logit: -0.0959535, start_index: 36, end_index: 40
answer[3]:  'the Amazon biome that covers most of the Amazon basin of South America.'
logit: -0.498558, start_index: 28, end_index: 40
answer[4]:  'Amazon basin of South America.'
logit: -0.774266, start_index: 37, end_index: 40

ลองใช้ เครื่องมือสาธิต CLI แบบง่ายๆ สำหรับ BertQuestionAnswerer ด้วยโมเดลของคุณเองและข้อมูลการทดสอบ

ข้อกำหนดความเข้ากันได้ของโมเดล

BertQuestionAnswerer API คาดว่าจะมีโมเดล TFLite ที่มี ข้อมูลเมตาของโมเดล TFLite ที่ บังคับ

ข้อมูลเมตาควรเป็นไปตามข้อกำหนดต่อไปนี้:

  • input_process_units สำหรับ Tokenizer Wordpiece / Sentencepiece

  • 3 อินพุตเทนเซอร์ที่มีชื่อ "ids" "มาสก์" และ "segment_ids" สำหรับเอาต์พุตของโทเค็นไนเซอร์

  • 2 เอาต์พุตเทนเซอร์ที่มีชื่อ "end_logits" และ "start_logits" เพื่อระบุตำแหน่งสัมพัทธ์ของคำตอบในบริบท