ช่วยปกป้อง Great Barrier Reef กับ TensorFlow บน Kaggle เข้าร่วมท้าทาย

บูรณาการลักษณนามภาษาธรรมชาติ

งานห้องสมุด NLClassifier ข้อความ API จัดประเภทใส่ลงในประเภทที่แตกต่างและเป็นอเนกประสงค์และ API ที่กำหนดที่สามารถจัดการมากที่สุดรูปแบบการจัดหมวดหมู่ข้อความ

คุณสมบัติหลักของ NLClassifier API

  • รับสตริงเดียวเป็นอินพุต ทำการจำแนกประเภทด้วยสตริงและเอาต์พุต คู่เป็นผลการจัดหมวดหมู่

  • ตัวเลือก Regex Tokenization สำหรับข้อความที่ป้อน

  • กำหนดค่าได้เพื่อปรับโมเดลการจำแนกประเภทต่างๆ

รุ่น NLClassifier ที่รองรับ

รุ่นต่อไปนี้จะรับประกันได้ว่าจะเข้ากันได้กับ NLClassifier API

เรียกใช้การอนุมานใน Java

ดู ข้อความจำแนกประเภทตรวจสอบการอ้างอิง สำหรับตัวอย่างของวิธีการใช้ NLClassifier ใน Android app

ขั้นตอนที่ 1: นำเข้าการพึ่งพา Gradle และการตั้งค่าอื่นๆ

คัดลอก .tflite ไฟล์รูปแบบไปยังไดเรกทอรีสินทรัพย์ของโมดูล Android รุ่นที่จะวิ่ง ระบุว่าไฟล์ไม่ควรถูกบีบอัดและเพิ่มห้องสมุด TensorFlow Lite โมดูลของ build.gradle ไฟล์:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.3.0'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin:0.3.0'
}

ขั้นตอนที่ 2: เรียกใช้การอนุมานโดยใช้ API

// Initialization, use NLClassifierOptions to configure input and output tensors
NLClassifierOptions options =
    NLClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setInputTensorName(INPUT_TENSOR_NAME)
        .setOutputScoreTensorName(OUTPUT_SCORE_TENSOR_NAME)
        .build();
NLClassifier classifier =
    NLClassifier.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Category> results = classifier.classify(input);

ดู รหัสที่มา สำหรับตัวเลือกเพิ่มเติมในการกำหนดค่า NLClassifier

เรียกใช้การอนุมานใน Swift

ขั้นตอนที่ 1: นำเข้า CocoaPods

เพิ่มพ็อด TensorFlowLiteTaskText ใน Podfile

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.2.0'
end

ขั้นตอนที่ 2: เรียกใช้การอนุมานโดยใช้ API

// Initialization
var modelOptions:TFLNLClassifierOptions = TFLNLClassifierOptions()
modelOptions.inputTensorName = inputTensorName
modelOptions.outputScoreTensorName = outputScoreTensorName
let nlClassifier = TFLNLClassifier.nlClassifier(
      modelPath: modelPath,
      options: modelOptions)

// Run inference
let categories = nlClassifier.classify(text: input)

ดู รหัสที่มา สำหรับรายละเอียดเพิ่มเติม

เรียกใช้การอนุมานใน C++

// Initialization
NLClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_file);
std::unique_ptr<NLClassifier> classifier = NLClassifier::CreateFromOptions(options).value();

// Run inference
std::vector<core::Category> categories = classifier->Classify(kInput);

ดู รหัสที่มา สำหรับรายละเอียดเพิ่มเติม

ตัวอย่างผลลัพธ์

นี่คือตัวอย่างของผลการจัดหมวดหมู่ของที่ รูปแบบบทวิจารณ์ภาพยนตร์

ข้อมูลเข้า: "เสียเวลาเปล่า"

เอาท์พุท:

category[0]: 'Negative' : '0.81313'
category[1]: 'Positive' : '0.18687'

ลองใช้ง่าย เครื่องมือ CLI สาธิต NLClassifier กับตัวเองและรูปแบบการทดสอบข้อมูลของคุณ

ข้อกำหนดความเข้ากันได้ของรุ่น

ทั้งนี้ขึ้นอยู่กับกรณีการใช้งานที่ NLClassifier API สามารถโหลดรูปแบบ TFLite มีหรือไม่มี TFLite รุ่นเมตาดาต้า ดูตัวอย่างของการสร้างเมตาสำหรับลักษณนามภาษาธรรมชาติโดยใช้ นักเขียน API TensorFlow Lite เมตาดาต้า

รุ่นที่รองรับควรเป็นไปตามข้อกำหนดต่อไปนี้:

  • เทนเซอร์อินพุต: (kTfLiteString/kTfLiteInt32)

    • อินพุตของโมเดลควรเป็นสตริงอินพุตดิบเทนเซอร์ kTfLiteString หรือเมตริกซ์ kTfLiteInt32 สำหรับดัชนีโทเค็น regex ของสตริงอินพุตดิบ
    • ถ้าชนิดอินพุตเป็น kTfLiteString ไม่มี ข้อมูลเมตา เป็นสิ่งจำเป็นสำหรับรูปแบบ
    • ถ้าชนิดอินพุตเป็น kTfLiteInt32 เป็น RegexTokenizer จะต้องมีการจัดตั้งขึ้นในเมตริกซ์การป้อนข้อมูลของ เมตาดาต้า
  • เทนเซอร์คะแนนเอาท์พุต: (kTfLiteUInt8/kTfLiteInt8/kTfLiteInt16/kTfLiteFloat32/kTfLiteFloat64)

    • เทนเซอร์เอาต์พุตบังคับสำหรับคะแนนของแต่ละหมวดหมู่ที่จำแนก

    • หากประเภทเป็นหนึ่งในประเภท Int ให้ลดปริมาณลงเป็นสองเท่า/ลอยไปยังแพลตฟอร์มที่เกี่ยวข้อง

    • สามารถมีแฟ้มที่เกี่ยวข้องเป็นตัวเลือกในการส่งออกเมตริกซ์ที่สอดคล้อง Metadata สำหรับป้ายกำกับหมวดหมู่ไฟล์ควรเป็นไฟล์ข้อความธรรมดากับหนึ่งป้ายต่อบรรทัดและจำนวนของป้ายควรจะตรงกับจำนวนของประเภทเอาท์พุทเป็นรูปแบบ ดู ไฟล์ฉลาก exmaple

  • เทนเซอร์ป้ายกำกับเอาต์พุต: (kTfLiteString/kTfLiteInt32)

    • เมตริกซ์เอาต์พุตที่เลือกได้สำหรับป้ายกำกับสำหรับแต่ละหมวดหมู่ ควรมีความยาวเท่ากับเมตริกซ์คะแนนเอาต์พุต หากไม่มีเทนเซอร์นี้ API จะใช้ดัชนีคะแนนเป็นชื่อคลาส

    • จะถูกละเว้นหากไฟล์ป้ายกำกับที่เกี่ยวข้องมีอยู่ในข้อมูลเมตาของเทนเซอร์คะแนนเอาต์พุต