AudioClassifier

AudioClassifier คลาสสุดท้ายสาธารณะ

ดำเนินการจำแนกตามรูปคลื่นเสียง

API คาดว่าจะมีโมเดล TFLite พร้อมด้วย ข้อมูลเมตาของโมเดล TFLite .

API รองรับโมเดลที่มีเทนเซอร์อินพุตเสียงหนึ่งตัวและเทนเซอร์เอาท์พุตการจำแนกประเภทหนึ่งตัว เพื่อให้เจาะจงยิ่งขึ้น นี่คือข้อกำหนด

  • อินพุตเสียงเทนเซอร์ ( kTfLiteFloat32 )
    • บัฟเฟอร์เสียงอินพุตขนาด [batch x samples]
    • ไม่รองรับการอนุมานแบบแบตช์ ( batch ต้องเป็น 1)
  • เทนเซอร์คะแนนเอาท์พุต ( kTfLiteFloat32 )
ดู ตัวอย่าง ของโมเดลดังกล่าวและ เครื่องมือสาธิต CLI เพื่อการทดลองใช้ API นี้ได้อย่างง่ายดาย

คลาสที่ซ้อนกัน

ระดับ AudioClassifier.AudioClassifierตัวเลือก ตัวเลือกสำหรับการตั้งค่า AudioClassifier

วิธีการสาธารณะ

รายการ < การจัดประเภท >
จำแนกประเภท ( TensorAudio เทนเซอร์)
ดำเนินการจำแนกตามจริงบนเทนเซอร์เสียงที่ให้มา
บันทึกเสียง
createAudioRecord ()
สร้าง AudioRecord แตนซ์ AudioRecord เพื่อบันทึกสตรีมเสียง
ตัวแยกประเภทเสียง แบบคงที่
createFromBuffer ( ByteBuffer modelBuffer)
สร้างอินสแตนซ์ AudioClassifier ด้วยบัฟเฟอร์โมเดลและ AudioClassifier.AudioClassifierOptions เริ่มต้น
ตัวแยกประเภทเสียง แบบคงที่
createFromBufferAndOptions (ตัวเลือก ByteBuffer modelBuffer, AudioClassifier.AudioClassifierOptions )
สร้างอินสแตนซ์ AudioClassifier ด้วยบัฟเฟอร์โมเดลและ AudioClassifier.AudioClassifierOptions
ตัวแยกประเภทเสียง แบบคงที่
createFromFile (บริบทบริบท สตริง modelPath)
สร้างอินสแตนซ์ AudioClassifier จาก AudioClassifier.AudioClassifierOptions เริ่มต้น
ตัวแยกประเภทเสียง แบบคงที่
createFromFile ( ไฟล์ โมเดลไฟล์)
สร้างอินสแตนซ์ AudioClassifier จาก AudioClassifier.AudioClassifierOptions เริ่มต้น
ตัวแยกประเภทเสียง แบบคงที่
createFromFileAndOptions (บริบทบริบท ตัวเลือก modelPath สตริง ตัวเลือก AudioClassifier.AudioClassifierOptions )
ตัวแยกประเภทเสียง แบบคงที่
createFromFileAndOptions ( ตัวเลือก ไฟล์ modelFile, AudioClassifier.AudioClassifierOptions )
สร้าง AudioClassifier
เทนเซอร์ออดิโอ
createInputTensorAudio ()
สร้างอินสแตนซ์ TensorAudio เพื่อจัดเก็บตัวอย่างเสียงอินพุต
ยาว
getRequiredInputBufferSize ()
ส่งกลับขนาดบัฟเฟอร์อินพุตที่ต้องการในจำนวนองค์ประกอบลอย
TensorAudio.TensorAudioFormat
getRequiredTensorAudioFormat ()
ส่งคืน TensorAudio.TensorAudioFormat ที่โมเดลต้องการ

วิธีการสืบทอด

วิธีการสาธารณะ

รายการ สาธารณะ < การจำแนกประเภท > จำแนก ( TensorAudio เทนเซอร์)

ดำเนินการจำแนกตามจริงบนเทนเซอร์เสียงที่ให้มา

พารามิเตอร์
เทนเซอร์ TensorAudio ที่มีคลิปเสียงอินพุตเป็นแบบลอยที่มีค่าระหว่าง [-1, 1) อาร์กิวเมนต์ tensor ควรมีขนาดเท่ากันกับเทนเซอร์อินพุตของโมเดล TFLite ขอแนะนำให้สร้าง tensor โดยใช้เมธอด createInputTensorAudio
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย ถ้าอาร์กิวเมนต์ไม่ถูกต้อง
IllegalStateException หากเกิดข้อผิดพลาดเมื่อจำแนกคลิปเสียงจากโค้ดเนทีฟ

AudioRecord สาธารณะ createAudioRecord ()

สร้าง AudioRecord แตนซ์ AudioRecord เพื่อบันทึกสตรีมเสียง อินสแตนซ์ AudioRecord ที่ส่งคืนได้รับการเตรียมใช้งานแล้ว และไคลเอ็นต์จำเป็นต้องเรียกใช้เมธอด AudioRecord.startRecordingnull เพื่อเริ่มการบันทึก

การส่งคืน
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย หากไม่รองรับจำนวนช่องตามรุ่นที่ต้องการ
IllegalStateException หากอินสแตนซ์ AudioRecord ไม่สามารถเริ่มต้นได้

AudioClassifier สาธารณะคงที่ createFromBuffer ( ByteBuffer modelBuffer)

สร้างอินสแตนซ์ AudioClassifier ด้วยบัฟเฟอร์โมเดลและ AudioClassifier.AudioClassifierOptions เริ่มต้น

พารามิเตอร์
modelBuffer ByteBuffer โดยตรงหรือ MappedByteBuffer ของโมเดลการจัดหมวดหมู่
ขว้าง
IllegalStateException หากมีข้อผิดพลาดภายใน
RuntimeException หากมีข้อผิดพลาดที่ไม่ได้ระบุเป็นอย่างอื่น
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย หากบัฟเฟอร์โมเดลไม่ใช่ ByteBuffer โดยตรงหรือ MappedByteBuffer

AudioClassifier แบบคงที่สาธารณะ createFromBufferAndOptions (ตัวเลือก ByteBuffer modelBuffer, AudioClassifier.AudioClassifierOptions )

สร้างอินสแตนซ์ AudioClassifier ด้วยบัฟเฟอร์โมเดลและ AudioClassifier.AudioClassifierOptions

พารามิเตอร์
modelBuffer ByteBuffer โดยตรงหรือ MappedByteBuffer ของโมเดลการจัดหมวดหมู่
ตัวเลือก
ขว้าง
IllegalStateException หากมีข้อผิดพลาดภายใน
RuntimeException หากมีข้อผิดพลาดที่ไม่ได้ระบุเป็นอย่างอื่น
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย หากบัฟเฟอร์โมเดลไม่ใช่ ByteBuffer โดยตรงหรือ MappedByteBuffer

AudioClassifier แบบคงที่สาธารณะ createFromFile (บริบทบริบท, String modelPath)

สร้างอินสแตนซ์ AudioClassifier จาก AudioClassifier.AudioClassifierOptions เริ่มต้น

พารามิเตอร์
บริบท
โมเดลพาธ เส้นทางของโมเดลการจัดหมวดหมู่พร้อมข้อมูลเมตาในเนื้อหา
ขว้าง
IOข้อยกเว้น หากมีข้อผิดพลาด I/O เกิดขึ้นเมื่อโหลดโมเดล tflite
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย ถ้าอาร์กิวเมนต์ไม่ถูกต้อง
IllegalStateException หากมีข้อผิดพลาดภายใน
RuntimeException หากมีข้อผิดพลาดที่ไม่ได้ระบุเป็นอย่างอื่น

AudioClassifier สาธารณะคงที่ createFromFile ( ไฟล์ modelFile)

สร้างอินสแตนซ์ AudioClassifier จาก AudioClassifier.AudioClassifierOptions เริ่มต้น

พารามิเตอร์
modelFile ตัวอย่าง File แบบจำลองการจำแนกประเภท
ขว้าง
IOข้อยกเว้น หากมีข้อผิดพลาด I/O เกิดขึ้นเมื่อโหลดโมเดล tflite
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย ถ้าอาร์กิวเมนต์ไม่ถูกต้อง
IllegalStateException หากมีข้อผิดพลาดภายใน
RuntimeException หากมีข้อผิดพลาดที่ไม่ได้ระบุเป็นอย่างอื่น

AudioClassifier แบบคงที่สาธารณะ createFromFileAndOptions (บริบทบริบท, ตัวเลือก modelPath สตริง , AudioClassifier.AudioClassifierOptions )

พารามิเตอร์
บริบท
โมเดลพาธ เส้นทางของโมเดลการจัดหมวดหมู่พร้อมข้อมูลเมตาในเนื้อหา
ตัวเลือก
ขว้าง
IOข้อยกเว้น หากมีข้อผิดพลาด I/O เกิดขึ้นเมื่อโหลดโมเดล tflite
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย ถ้าอาร์กิวเมนต์ไม่ถูกต้อง
IllegalStateException หากมีข้อผิดพลาดภายใน
RuntimeException หากมีข้อผิดพลาดที่ไม่ได้ระบุเป็นอย่างอื่น

AudioClassifier แบบคงที่สาธารณะ createFromFileAndOptions (ตัวเลือก ไฟล์ modelFile, AudioClassifier.AudioClassifierOptions )

สร้าง AudioClassifier

พารามิเตอร์
modelFile ตัวอย่าง File แบบจำลองการจำแนกประเภท
ตัวเลือก
ขว้าง
IOข้อยกเว้น หากมีข้อผิดพลาด I/O เกิดขึ้นเมื่อโหลดโมเดล tflite
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย ถ้าอาร์กิวเมนต์ไม่ถูกต้อง
IllegalStateException หากมีข้อผิดพลาดภายใน
RuntimeException หากมีข้อผิดพลาดที่ไม่ได้ระบุเป็นอย่างอื่น

TensorAudio สาธารณะ createInputTensorAudio ()

สร้างอินสแตนซ์ TensorAudio เพื่อจัดเก็บตัวอย่างเสียงอินพุต

การส่งคืน
  • TensorAudio ที่มีขนาดเท่ากับเทนเซอร์อินพุตรุ่น
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย ถ้ารุ่นไม่เข้ากัน

สาธารณะยาว getRequiredInputBufferSize ()

ส่งกลับขนาดบัฟเฟอร์อินพุตที่ต้องการในจำนวนองค์ประกอบลอย

สาธารณะ TensorAudio.TensorAudioFormat getRequiredTensorAudioFormat ()

ส่งคืน TensorAudio.TensorAudioFormat ที่โมเดลต้องการ