Netduino上的立体视觉

描述

立体视觉一直是提取 3D 信息的最复杂和资源密集的过程之一。Netduino 3 以太网板配备 Cortex-M4 168 Mhz 微处理器，能够对少量图像数据进行密集执行。

该板还带有 4 个可供使用的 UART 端口，非常适合串行通信相机。

我们能够支持 OV528 协议与两个串行相机进行通信并获取两张静止物体的连续照片。在不久的将来，我们将应用其中一种立体视觉算法从获取的图像中提取 3D 信息。

该系统分为两部分：项目的第一部分将管理硬件并按需获取立体图像，然后项目的第二部分将在内部计算所捕捉对象的 3D 坐标。

成分

 

 

 

1 / 3 • Netduino 3 以太网

 

电脑立体视觉系统

立体视觉系统由一对已知水平位移和对称对齐的数码相机组成。这些数码相机同时获取图像并计算 3D 空间信息。

我们将两个摄像头连接到木尺上，以测试摄像头之间的不同水平位移以及它如何影响 3D 计算测量值。目前我们所做的唯一检查是将相机与它们的焦轴（镜头中心）分开 3 英寸。

该系统由两个能够捕捉高达 640x480 图像的串行相机组成。我们选择选择 320x240 的分辨率，以便更轻松地处理数据。尺寸越小，所需的处理资源就越少。

 

 

 

 

 

1 / 3 •几个摄像头对齐

 

目前，录制过程是顺序的：设置摄像头进行捕获，发送快照命令，最后将图像缓冲区读取到应用程序。对摄像机 1 完成此过程，然后对摄像机 2 重复此过程。

图像数据保存在 Netduino 3 的 SD 卡中。

if (_button.Read())
           {
               //Record image from camera 1
               Set4Capture(Camera1);
               Snap(Camera1);
               GetImage(Camera1);
               //Record image from camera 2
               Set4Capture(Camera2);
               Snap(Camera2);
               GetImage(Camera2);
           }

请注意，我们的目标不是实时 3D 计算和显示，而是更多用于 3D 扫描的对象建模。

UART通信

Netduino 3 最多支持 4 个 UART 通道。我们使用 UART COM1 和 UART COM2 连接相机。

 

 

.NET MicroFramework 通过定义一个事件回调函数来支持 UART 设备，当系统通过一个活动端口接收到信息时将触发该回调函数。

//Set event callback function  
       Camera2.DataReceived += SerialDataReceived;
       Camera1.DataReceived += SerialDataReceived;

事件函数定义如下。两个摄像头调用相同的事件函数并在内部检查以查看哪个实例进行了调用。

接收到的数据存储在本地内存数组中，然后移动到全局变量中，以便我们可以访问它。接收到的数据量也被保存到一个全局变量中。

static void SerialDataReceived(object sender, SerialDataReceivedEventArgs e)
   {
       if ((e.EventType == SerialData.Chars) && (sender == Camera1))
       {
           const int BUFFER_SIZE = 1024;
           byte[] buffer = new byte[BUFFER_SIZE];
           int amount = ((SerialPort)sender).Read(buffer, 0, BUFFER_SIZE);
           if (amount > 0)
           {
               for (int index = 0; index < amount; index++)
               {
                   messageFromCam1[index] = buffer[index];
               }
               dataRead1 = true;
               dataSize1 = amount;
           }
       }
       else if ((e.EventType == SerialData.Chars) && (sender == Camera2))
       {
           const int BUFFER_SIZE = 1024;
           byte[] buffer = new byte[BUFFER_SIZE];
           int amount = ((SerialPort)sender).Read(buffer, 0, BUFFER_SIZE);
           if (amount > 0)
           {
               for (int index = 0; index < amount; index++)
               {
                   messageFromCam1[index] = buffer[index];
               }
               dataRead1 = true;
               dataSize1 = amount;
           }
       }
   }

发送命令并等待响应后的事件同步仍然是我们尚未克服的挑战。我们将研究信号量或临界区。复杂性是由于董事会实现了一个循环调度程序，该调度程序在等待变量更改状态时添加了无限循环。这可能会使进程死锁并将事件进程设置为饥饿模式。我们将在了解如何同步事件后立即报告项目的第二部分。

与此同时，我们通过蛮力解决同步问题。换句话说，如果我们没有收到我们期望的确认流，那么我们会再次发送命令，直到收到正确的响应。您可以在下面的代码中看到它。

           while (true)
           {
               clearBuffer(camDevice);
               sendCmd(camDevice, cmd, 6);
               cmdRet = readReply(camDevice, resp, ref dS2R);
               if (!cmdRet && dS2R < 6) continue;
               if (resp[0] == 0xaa && resp[1] == (0x0e | cameraAddr) && resp[2] == 0x0d && resp[4] == 0 && resp[5] == 0)
               {
                   if (dS2R == 12)
                   {
                       if (resp[6] == 0xaa && resp[7] == (0x0d | cameraAddr) && resp[8] == 0 && resp[9] == 0 && resp[10] == 0 && resp[11] == 0)
                           break;
                   }
               }
           }

请注意，我们使用的是无限循环。发送初始化命令，检查是否收到了确认响应，如果不是预期的响应，则再次重复该过程。

相机在处理完命令后会清除命令缓冲区，因此相机在处理完前一个命令后就准备好接受新命令。

这种方法最终会奏效，但它可能会更快。

相机协议OV528

下表显示了可用于使用 OV528协议对串行摄像头进行编程的命令。该协议基于以六字节字节指定的命令。根据发送的命令，发送回相同大小或双倍的确认。

命令通过 UART 端口发送并同步以接收确认。

 

OV528 协议

 

我们的配置将相机设置为获取 320x240 8 位颜色的分辨率。该协议非常简单明了。

实验

我们使用了距摄像机中心视野 3 英寸的单个水平位移。使用两个静止物体来获取立体图像，系统设置如下图所示。

 

立体视觉系统在行动

 

从系统获取的立体图像并未完全对齐，但这是一个很好的起点，可以测试我们将在项目下一阶段实施的可能立体视觉算法的稳健性。

 

 

 

 

 

1 / 2 •猫形象的立体图像

 

未来的工作

在项目的第二部分，我们将

• 改进命令同步

• 内部计算深度图

• 允许选择不同的分辨率

• 实施简单的预览模式以正确对齐相机。