Tensorflow Lite

Tensorflowは有名なNeural Net用のTraining/Inferation  フレームワークだ。
名前の通りテンソルの計算をパイプラインのように繋げていくことが簡単にできる。
学習には科学技術計算並の計算が必要で、GPUありきで開発されている。余りCPU/SIMDでは高速には成っていないようだ。GPUだとメモリネックになってしまうが、Google Colaboratoryを使うことで大分解消される。
さて、学習されたあとのネットを使って推論するのはたいした計算量では無いので、Mobile Devicesに使うことを考えるのは自然だし、実際GoogleからもMobileとかLiteとか出ていた。
最近、Liteに集約することに決めた後、開発がすごい勢いで進められてきた。TensorflowとTensorflowliteの間では、使えるオペレーションが異なっていて、単純にTensorflowで学習したネットをtflite_convertすることは出来ないことが多かった。それでもどんどん対応するオペレーションが増え、対応されていない物も元のTensorflowの学習する時のオペレーションをPython Nativeにするとかして対応できるようになった。
今日、Tensorflow Liteのサイトを見たら大分変わっていた。
IT Yearとか言うけど、ホントに速いなあ。