乐视三合一体感摄像头Astra pro开发记录1（深度图、彩色图及点云简单显示）

“乐视三合一体感摄像头Astra pro开发记录1（深度图、彩色图及点云简单显示）”主要涉及该摄像头在开发过程中的一些基本设置和图像显示功能。以下是对该开发记录内容的详细归纳：

 

一、设备简介

设备名称：乐视三合一体感摄像头Astra pro，实际也是奥比中光的Astra Pro。

特点：具备深度信息，可用于体感识别、视觉SLAM、点云地图构建、三维重建等应用。

外观：采用压铸铝表面制成及阳极氧化银色喷砂，体积小巧，有份量感。左侧为红外投影模组和面部接近感知模组，右侧为RGB相机模组和IR相机模组。

二、开发环境搭建

1. 驱动和SDK安装

来源：推荐从Orbbec官网 下载最新的驱动和SDK。

安装步骤：下载并解压SDK压缩包，按照Readme文件中的指示执行安装脚本。对于Linux系统，可能需要添加udev规则以确保设备能被正确识别。

2. 开发工具与库

Python环境：需要安装OpenCV、OpenNI、numpy等库。OpenNI库可以从Orbbec官网下载，确保包含orbbec.dll 和orbbec.ini 文件。

C++环境：可能需要配置CMake、OpenCV、PCL（点云库）等。PCL的第三方库中通常包含OpenNI库。

三、图像显示功能实现

1. 深度图和彩色图的显示

Python示例：使用OpenCV和OpenNI库同时打开深度摄像头和彩色摄像头，读取并显示深度图和彩色图。示例代码可能包括初始化OpenNI库、打开设备、创建深度流和彩色流、读取帧数据、转换为OpenCV可处理的格式、使用imshow显示图像等步骤。

C++示例：类似地，使用OpenNI库和PCL库，通过创建视频流对象、读取帧数据、转换为点云数据（如果需要的话）等步骤，实现深度图和彩色图的显示。

2. 点云显示

环境：在Qt环境下，可以使用VTK（Visualization Toolkit）库来显示点云数据。

步骤：读取深度图和彩色图，根据深度信息生成点云，然后使用VTK的渲染器进行点云的可视化。

四、注意事项

环境变量：确保设置了正确的环境变量，以便程序能够找到OpenNI库和其他依赖库。

设备识别：在某些情况下，可能需要修改设备ID或配置文件，以确保程序能够正确识别摄像头设备。

错误处理：开发过程中可能会遇到各种错误，如找不到设备、驱动不兼容等，需要根据错误提示进行相应的排查和解决。

五、总结

乐视三合一体感摄像头Astra pro是一款功能强大的体感摄像头，通过搭建合适的开发环境并使用相应的库和工具，可以实现深度图、彩色图及点云的显示功能。这些功能在体感识别、三维重建等领域具有广泛的应用前景。