ML Kitサンプルアプリを使ってみる ～ TensorFlow Lite モデルの動作確認

2023年2月16日

前投稿で、TensorFlow Lite モデルの作成を行いました。

その動作検証ですが、ML Kitを使ってアプリケーションを作らなければなりません。また、カメラアプリケーションとしても作成しなければならず、作るには多くの工数が必要です。

そのような工数を使ってアプリケーションを作成するのは大変です。そこで、ML Kitにはサンプルアプリが提供されていますので、それに組み込んでテストをします。なお、Java言語を使いますが、Kotlinもサンプルアプリに用意されていますので、ほぼ同じ手順になります。

1.サンプルアプリのダウンロードとソース修正

まずは、ML Kitのサイトを開きます。

Vision APIの項目へ移動します。その中に、「オブジェクトの検出とトラッキング」があります。ここで、「始める」をクリックします。

「オブジェクトの検出とトラッキング」が開きます。「Android」をクリックします。

ここに、サンプルアプリがあるサイトへのリンクがあります。「サンプルアプリ」をクリックします。

GitHubの画面が表示されます。ここにサンプルアプリのプロジェクトがありますので、ダウンロードしてAndroid Studioに組み込みます。

プロジェクトを開いて、プロジェクトウインドウを表示します。「assets」「custom_models」にモデルが格納されています。ここに、自作のモデルを追加します。自作モデルをクリップボードにコピーして、「assets」「custom_models」の位置で貼り付けると良いでしょう。

次に、ソースの「LivePreviewActivity」を選択します。

createCameraSource関数で、「OBJECT_DETECTION_CUSTOM」の部分を表示します。ここに、モデルの指定がされています。デフォルトで指定されているモデルをコメントにして、自作のモデルを書き込みます。

これで修正は終わりです。ビルドしてスマートフォンにインストールしてください。

2.サンプルアプリの実行

サンプルプログラムを実行します。

今回はJavaプログラムの方を修正したので、Javaの方をクリックします。

ライブビューで画像認識したいので、「LivePreviewActivity」を選択します。

ライブビュー画面が表示されました。自作のモデルは「Custom Object Detection」の画像認識で有効です。下にあるコンボボックスから選択してください。

ナキウサギが映った画面に近づいてライブビューすると、ナキウサギと認識されました。自作のモデルは動作しています。

3.サンプルアプリを活用しよう

サンプルアプリのソースのおかげで、自作のアプリケーションが作りやすくなっています。私も、ソースを参考にさせてもらいながら、自作のアプリケーションを作りたいと思っています。

皆さんもぜひサンプルアプリを有効活用してください。