Kotlin Android 第26天，从 0 到 ML - TensorFlow Lite -手写数字辨识

前言:

   手写辨识是最基本入门款，利用第22天canvas手势绘图和参照tensorflow 的codelab，来玩手写辨识。

大纲 :

将 TensorFlow Lite 模型添加到assets文件夹

 mnist.tflite

build.gradle(app)

dependencies {
       implementation 'org.tensorflow:tensorflow-lite:2.5.0'
}

android {
      ...
    aaptOptions {
        noCompress "tflite"
    }
      ...
}

建立和初始化 DigitClassifier (TensorFlow Lite interpreter)

class DigitClassifier(private val context: Context) {

 ….

private fun initializeInterpreter() {
  //载入tensorflow lite 模组
  val assetManager = context.assets
  val model = loadModelFile(assetManager)

  // 初始化 TF Lite 解释器 和 开启神经网路
  val options = Interpreter.Options()
  options.setUseNNAPI(true)
  val interpreter = Interpreter(model, options)

  // 模型中读取模型输入格式
  val inputShape = interpreter.getInputTensor(0).shape()
  inputImageWidth = inputShape[1]
  inputImageHeight = inputShape[2]
  modelInputSize = FLOAT_TYPE_SIZE * inputImageWidth * inputImageHeight * PIXEL_SIZE

  // 完成初始化
  this.interpreter = interpreter
   isInitialized = true
   }

 ….
}

输入资料给模型预测

private fun classify(bitmap: Bitmap): String {
  …
  //  … 先处理输入的图片

  val resizedImage = Bitmap.createScaledBitmap(bitmap, inputImageWidth, inputImageHeight, true)
  val byteBuffer = convertBitmapToByteBuffer(resizedImage)
  …
  val result = Array(1) { FloatArray(OUTPUT_CLASSES_COUNT) }
  interpreter?.run(byteBuffer, result)
  … 
  //最後输出文字结果
  return getOutputString(result[0])
}

触控手势处划完後放开呼叫 classifyDrawing(extraBitmap)

override fun onTouchEvent(event: MotionEvent): Boolean {
    motionTouchEventX = event.x
    motionTouchEventY = event.y

    when (event.action) {
        MotionEvent.ACTION_DOWN -> touchStart()
        MotionEvent.ACTION_MOVE -> touchMove()
        MotionEvent.ACTION_UP -> classifyDrawing(extraBitmap)
    }
    return true
}

执行结果: