如何在Android项目上连接TensorFlow lite和ArCore SceneForm Sdk？

我想训练一个自定义模型来检测一些物体使用Image Classifier模型或来自TensorFlow的物体检测Api,当检测到物体时,它可以显示与结果相关的3D图像,为此,我想使用ArCore SceneForm SDK,这些在Android项目中增加的机器学习和现实技术.

我有问题使用ArCore SceneForm SDK在Android相机上获取每秒帧数,以便使用自定义检测模型从某些TensorFlow Lite类进行扫描,然后显示3D图像.你能帮忙解决这个问题吗？

TensorFlow精简版
https://www.tensorflow.org/lite/

ArCore SceneForm SDK
https://developers.google.com/ar/develop/java/sceneform/

解决方法:

你有没有上班？

要首先提供SceneForm对框架的访问权限,您需要设置ArSession
 https://developers.google.com/ar/reference/java/sceneform/reference/com/google/ar/sceneform/ArSceneView#setupSession(com.google.ar.core.Session)

之后,您需要访问ARScene和ArFrame

https://developers.google.com/ar/reference/java/sceneform/reference/com/google/ar/sceneform/ArSceneView

用于渲染.

ArCore和ScenForm直接访问摄像头,您无法从TFLite提供图像.

使用ArCore获取图像

https://developers.google.com/ar/reference/java/arcore/reference/com/google/ar/core/Frame#acquireCameraImage()

您可能需要使用SceneForm方法为您的应用程序获取图像,然后将其提供给TFLite,否则我认为它不会同步.

我目前正在努力做同样的事情.

标签：android,tensorflow,image-recognition,arcore,android-augmented-reality
来源： https://codeday.me/bug/20190705/1387775.html