บูรณาการลักษณนามภาษาธรรมชาติ

NLClassifier API ของไลบรารีงานจัดประเภทข้อความอินพุตเป็นหมวดหมู่ต่างๆ และเป็น API อเนกประสงค์และกำหนดค่าได้ ซึ่งสามารถรองรับโมเดลการจัดหมวดหมู่ข้อความส่วนใหญ่ได้

คุณสมบัติที่สำคัญของ NLClassifier API

  • รับสตริงเดี่ยวเป็นอินพุต ดำเนินการจำแนกประเภทด้วยสตริงและเอาต์พุต คู่เป็นผลการจำแนกประเภท

  • ตัวเลือก Regex Tokenization ที่มีให้เลือกใช้สำหรับการป้อนข้อความ

  • กำหนดค่าเพื่อปรับเปลี่ยนโมเดลการจำแนกประเภทต่างๆ ได้

โมเดล NLClassifier ที่รองรับ

รับประกันว่าโมเดลต่อไปนี้จะเข้ากันได้กับ NLClassifier API

เรียกใช้การอนุมานใน Java

ดู แอปอ้างอิงการจัดประเภทข้อความ สำหรับตัวอย่างวิธีใช้ NLClassifier ในแอป Android

ขั้นตอนที่ 1: นำเข้าการพึ่งพา Gradle และการตั้งค่าอื่นๆ

คัดลอกไฟล์โมเดล .tflite ไปยังไดเร็กทอรีทรัพย์สินของโมดูล Android ที่จะเรียกใช้โมเดล ระบุว่าไม่ควรบีบอัดไฟล์ และเพิ่มไลบรารี TensorFlow Lite ลงในไฟล์ build.gradle ของโมดูล:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.4.4'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin:0.4.4'
}

ขั้นตอนที่ 2: เรียกใช้การอนุมานโดยใช้ API

// Initialization, use NLClassifierOptions to configure input and output tensors
NLClassifierOptions options =
    NLClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setInputTensorName(INPUT_TENSOR_NAME)
        .setOutputScoreTensorName(OUTPUT_SCORE_TENSOR_NAME)
        .build();
NLClassifier classifier =
    NLClassifier.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Category> results = classifier.classify(input);

ดู ซอร์สโค้ด สำหรับตัวเลือกเพิ่มเติมในการกำหนดค่า NLClassifier

เรียกใช้การอนุมานใน Swift

ขั้นตอนที่ 1: นำเข้า CocoaPods

เพิ่มพ็อด TensorFlowLiteTaskText ใน Podfile

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.4.4'
end

ขั้นตอนที่ 2: เรียกใช้การอนุมานโดยใช้ API

// Initialization
var modelOptions:TFLNLClassifierOptions = TFLNLClassifierOptions()
modelOptions.inputTensorName = inputTensorName
modelOptions.outputScoreTensorName = outputScoreTensorName
let nlClassifier = TFLNLClassifier.nlClassifier(
      modelPath: modelPath,
      options: modelOptions)

// Run inference
let categories = nlClassifier.classify(text: input)

ดู ซอร์สโค้ด สำหรับรายละเอียดเพิ่มเติม

เรียกใช้การอนุมานใน C ++

// Initialization
NLClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<NLClassifier> classifier = NLClassifier::CreateFromOptions(options).value();

// Run inference with your input, `input_text`.
std::vector<core::Category> categories = classifier->Classify(input_text);

ดู ซอร์สโค้ด สำหรับรายละเอียดเพิ่มเติม

เรียกใช้การอนุมานใน Python

ขั้นตอนที่ 1: ติดตั้งแพ็คเกจ pip

pip install tflite-support

ขั้นตอนที่ 2: การใช้แบบจำลอง

# Imports
from tflite_support.task import text

# Initialization
classifier = text.NLClassifier.create_from_file(model_path)

# Run inference
text_classification_result = classifier.classify(text)

ดู ซอร์สโค้ด สำหรับตัวเลือกเพิ่มเติมในการกำหนดค่า NLClassifier

ตัวอย่างผลลัพธ์

นี่คือตัวอย่างผลการจำแนกประเภทของ แบบจำลองบทวิจารณ์ภาพยนตร์

ข้อมูลเข้า: "ทำให้ฉันเสียเวลาจริงๆ"

เอาท์พุท:

category[0]: 'Negative' : '0.81313'
category[1]: 'Positive' : '0.18687'

ลองใช้ เครื่องมือสาธิต CLI ง่ายๆ สำหรับ NLClassifier ด้วยโมเดลและข้อมูลการทดสอบของคุณเอง

ข้อกำหนดความเข้ากันได้ของโมเดล

NLClassifier API สามารถโหลดโมเดล TFLite โดยมีหรือไม่มี ข้อมูลเมตาของโมเดล TFLite ทั้งนี้ขึ้นอยู่กับกรณีการใช้งาน ดูตัวอย่างการสร้างข้อมูลเมตาสำหรับตัวแยกประเภทภาษาธรรมชาติโดยใช้ TensorFlow Lite Metadata Writer API

รุ่นที่ใช้ร่วมกันได้ควรเป็นไปตามข้อกำหนดต่อไปนี้:

  • เทนเซอร์อินพุต: (kTfLiteString/kTfLiteInt32)

    • อินพุตของโมเดลควรเป็นสตริงอินพุตดิบของเทนเซอร์ kTfLiteString หรือเทนเซอร์ kTfLiteInt32 สำหรับดัชนีโทเค็น regex ของสตริงอินพุตดิบ
    • หากประเภทอินพุตเป็น kTfLiteString ไม่จำเป็นต้อง มีข้อมูลเมตา สำหรับโมเดล
    • หากประเภทอินพุตคือ kTfLiteInt32 จะต้องตั้ง RegexTokenizer ใน Metadata ของเทนเซอร์อินพุต
  • เทนเซอร์คะแนนเอาท์พุต: (kTfLiteUInt8/kTfLiteInt8/kTfLiteInt16/kTfLiteFloat32/kTfLiteFloat64)

    • เทนเซอร์เอาท์พุตภาคบังคับสำหรับคะแนนของแต่ละหมวดหมู่ที่จำแนก

    • หาก type เป็นหนึ่งในประเภท Int ให้ dequantize เป็น double/float ไปยังแพลตฟอร์มที่เกี่ยวข้อง

    • สามารถมีไฟล์ที่เกี่ยวข้องซึ่งเป็นทางเลือกใน ข้อมูลเมตา ที่สอดคล้องกันของเทนเซอร์เอาท์พุตสำหรับป้ายกำกับหมวดหมู่ ไฟล์ควรเป็นไฟล์ข้อความธรรมดาที่มีหนึ่งป้ายกำกับต่อบรรทัด และจำนวนป้ายกำกับควรตรงกับจำนวนหมวดหมู่ตามเอาต์พุตของโมเดล ดู ตัวอย่างไฟล์ป้ายกำกับ

  • เทนเซอร์ฉลากเอาท์พุต: (kTfLiteString/kTfLiteInt32)

    • เทนเซอร์เอาท์พุตเสริมสำหรับฉลากสำหรับแต่ละหมวดหมู่ ควรมีความยาวเท่ากับเทนเซอร์คะแนนเอาท์พุต หากไม่มีเทนเซอร์นี้ API จะใช้ดัชนีคะแนนเป็นชื่อคลาส

    • จะถูกละเว้นหากมีไฟล์ป้ายกำกับที่เกี่ยวข้องอยู่ในข้อมูลเมตาของเทนเซอร์คะแนนเอาท์พุต