机器视觉锁定与实时追踪系统

项目名：机器视觉锁定与实时追踪系统

参与人员：李腾杰、小亮、汪燕、Serial、刘超群、c17965428

项目基本功能说明：
1.摄像头&传感器采集数据传输到PC上。
2.PC进行算法处理：检测目标人脸、锁定并提取面部信息，计算目标位置。
3.PC操作载体跟随目标移动。
拓展：
将面部算法移植到linux&嵌入式linux系统上，将环境集成到载体上。

设备信息：
摄像头：100W像素级UVC摄像头（OV9712）
舵机：多自由度云台
载体：全向轮平台小车
信息传输设备：MT7688
载体驱动设备：STM32F103ZET6
图像处理设备：个人PC

资金说明：
集资购买：摄像头、舵机
实验室已有：载体，STM32
PC：个人自备

计划工期：
    2017.12.25 -- 2018.1.14

注：本帖用于保存本项目所有的中间产物、资料。
       参与人员每天需要更新自己的计划、进展




期末项目结束，此贴已结，现已开源

版权使用信息：
    挂载Mozilla许可证协议，使用时需书写版权信息；
    版权信息：
        第一版权作品：机器视觉锁定与实时追踪系统

        发布日期：2018.01.15  17：03
        地点：安徽信息工程学院嵌入式实验室

开源说明：https://www.mozilla.org/en-US/MPL/

联系邮箱：
alwaysltj@163.com
HWChu2016@hotmail.com
15856785480@163.com
1145620754@qq.com

系统架构图

上传需求文档

上传详细设计文档

解决了轮子不能反转的bug，现在基本功能已经实现了，明天项目演示

上次认为cos、sin无法使用，实际上是我使用错误，c里面sin、cos的函数参数为弧度，而我使用的是度数，需要使用：弧度 = （度数 * PI） / 180来进行转换。

2018.01.10 整合调试的时候仍然出现问题，使用无线的时候发现摄像头传输卡顿，所以更改了帧率以及摄像头分辨率，效果比较明显

今天测试载体，发现轮子转速与预期不一致

2018.01.10
今天调试载体，发现了与载体对接处有好多问题，现在发现可能是坐标系不对应和载体加减速时出现问题

因为后两天考试，决定暂时休整，周五晚上在看，加班调试吧

合并整个项目并进行测试，对存在的问题进行解决。

2018.01.09
今天把一起把串口程序移植到了mt7688上面，调试可用，之后一起组装好了硬件，但是发现了一些问题。
现在还存在问题：串口与载体对接有问题
无线网络传输速度不够
明天：把网络环境改善一下，继续调试

实现全向平台整体架构的调整，完成项目的整体衔接，存在一点下问题，在算法编程时使用了sin,cos，不知道为什么不能使用，打算使用二次函数进行编程

2018.01.09 摄像头模块初步完成，可以实现初步跟随，但是组装到一起测试的时候还有问题
mt7688配置无线
之后再ifconfig--> ifconfig aplic0 172.XX.XX.XX

参与测试摄像头捕捉人脸的过程，并调试了摄像头旋转的角度。

串口移植到mt7688串口无法正常发送数据，查到的资料是串口默认的波特率为9600，mt7688一共三个串口，USART0作为USB转串口已经被使用，今天重写串口发送程序

2018/01/06
在全向平台上安装两块M3和一块MT7688以及两个舵机，调试安装位置，控制重心，减小因重心对全向平台2号轮和3号轮产生的转速印象；调试摄像头旋转角度。

之前通过各种算法实现了对全向轮转速的控制，那么全向平台运动已经完成，现在我们开始为之后的项目整合做接口：
1、将超声波项目移植到全向平台项目上，以测得的距离控制全向轮的速度；
2、因为全向平台运动方向有摄像头输出的角度控制，先以USART串口做实验，得到角度数据进行控制全向平台的方向（在wifi传输完成后进行再次构造架构）；
3、在使用USART传输的时候注意USART_ReceiveData定义为USARTx最近接收到的数据，通过串口传输的数据在此函数中仅能接收到每次发送的最后一个字节，需要通过改写中断来接受字符串（百度上都有），通过（字符 - '0'）可得到整数，例如    字符5 - '0'    得到数字5；

下面需要考虑的是全向平台的整体架构问题。

2018.01.06 --> 2018.01.08：
这几天修改了之前的架构，现在理一下架构
PC：三个线程主要功能：
1.采集视频数据，逐帧放入图片缓冲区
2.从图片缓冲区拿数据，人脸识别，对比特征，计算位置信息，放到位置缓冲区
3.从位置缓冲区拿取数据，计算所需要x，y方向转动的角度，通过socket发送数据
4.建立socket客户端

阻塞流程为：先建立服务端（线程4），等待客户端连接，开始提取目标信息，建立线程2,3,4，继续主线程（线程1）
线程3,4都根据各自缓冲区是否为空进行阻塞。
因为线程2的速度最慢，所以线程3从缓冲区取数据的时候，判断数据有无更新，等待数据更新才进行处理，发送。

发送协议：
1.因为x范围为360度，Y范围为180度，unsigned char的数据最高为255，所以降低了x的精度，将角度除以2进行传输
所以发送数据即为unsigned char类型的数据，长度为2
2.因为M3功能限制，所以决定采用两个M3作为控制板，载体只需要X数据，所以MT7688接收到数据后，直接通过串口转发到M3中
而因控制舵机的M3需要两个数据，所以在传输前加了一个协议头字符“!”，作为开始，传输后，把角度 *2 进行还原 ，再转化成PWM控制舵机旋转

舵机控制
电源 6v
因为水平反向X需要旋转无限角度，所以现在采用一个办法，在达到X 360度 顶点的时候，增加或减少一个周期，角度控制在360度（防止顶点时出问题，增加了一个范围，两边扩大了15度）
竖直方向Y变化范围控制在180度，控制方向变化跟X有关，说明如下

因为舵机只有180度，所以当X大于180度时，将Y镜像反转，180-Y，
此时摄像头数据垂直翻转，空间上书评倒过来，角度计算也反过来，使其X仍为朝着一个方向旋转，
因为Y轴实现翻转，所以将水平方向360度转换成坐标表示，则为（Y正，x），（Y正，x-180）

或者方案2 ，两个摄像头+四个舵机

现在控制舵机的M3只留下了一个TIM4作为PWM和一个串口，因设备问题，波特率还没有调整好，打算用MT7688直接测试，
参数已经调整好，才有用PD算法，人脸识别算法速度不够快，效果还是不理想。

明天等待那边无线调整好，将数据传输转成无线，将尝试各项对接，包括无线摄像头，无线传输，串口传输，硬件拼接，合并整个项目，进行测试

MT7688交叉编译环境搭建，亲测可用，明天将串口移植到开发板

之前我们通过数据得到了PWM与转速之间的关系，理论证明全向平台空载与全向平台带载时情况相同，那么我们就可以依据这个关系式进行转速的修正。首先我们给予一定的PWM值，可得到一个理论转速值ps，通过编码器得到实际转速值sp，ps - sp得到需要修正的转速值；
接下来我们就需要通过需要修正的值来得到需要修正的PWM值，pwmerr，那么很明显我们就可以得到给予多少PWM值，才能够使实际的转速值达到原有PWM值的理想转速值。
这方面的编程就是对关系式的实现，就不做描述了。

通过这次的转速修正，我们给予两个全向轮相同的PWM值，在没有进行转速修正的情况下，两个全向轮通过编码器输出的转速脉冲值误差很大，大概在80-100，对于全向轮没转动一圈得到1024个脉冲值而言，这个误差是很大的；
在经过转速修正算法之后，全向平台空载情况下，我们基本上将误差控制在15以内，这与硬件结构有关；在全向平台带载的情况下，我们将误差控制在10以内，这与全向平台的中心偏向有关。
总之，这个误差在可接受范围内。

通过excel对PWM及编码器输出脉冲值进行解析得到两者之间的关系式，下面以图片显示：




在保证正确性及在实验中各方面对编码器输出的脉冲值影响下，我准备采用四阶多项式来编码：

2018/01/05
小车1号轮和2号轮依旧有速度偏差，走直线还是会趋于一个弧形，初步想法一个是通过3号轮对方向进行调整，另一个是通过PID对1号轮和2号轮的速度不断进行调整

闭环控制、PID算法原理，博客链接：http://bbs.anymsg.net/forum.php? ... &extra=page%3D1

2018.01.05
今日V4L2已完成，但仍存在问题。将帧放入队列时总是报错，网上提供的解决办法是更改帧的分辨率以及缓冲帧的个数。经试验无法解决，可能是这个队列的开始有问题，明天需要进一步检测。

v4l2基本思路已经写帖并实现，但是缓冲区更替存在问题，明天修改，帖子更新ing,将采集到的yuv格式转换为bmo格式

2018.01.05工作报告：
今天编写了舵机甘遂人脸转动的代码，刚开始在主函数中使用，但始终无法和串口中断同步，之后觉得可能需要PID算法调节，所以后来 又学习编写了PID算法
台调节过程中发现了图像采集的bug，但后来发现是他库函数的人脸识别的bug，没办法调，难受
之后通过PID调节，始终不对，也是因为舵机调节始终无法和串口中断同步，所以后来决定放在串口中断里，优先级低于电机驱动
后来调节，发现了一个bug，自己设置的初始值和对应的角度值不对应，痛苦啊，解决后从P开始调，因机械问题调节速度不是很好，效果还可以

明天准备在上D试一试，之后在看看调节效果，调PID，调参喽

超声测距
最常用的超声测距的方法是回声探测法，超声波发射器向某一方向发射超声波，在发射时刻的同时计数器开始计时，超声波在空气中传播，途中碰到障碍物面阻挡就立即反射回来，超声波接收器收到反射回的超声波就立即停止计时。超声波在空气中的传播速度为340m/s，根据计时器记录的时间t，就可以计算出发射点距障碍物面的距离s，即：s=340t/2。超声波发射电路：由555定时器产生40KHZ的脉冲信号，加到超声波探头的引脚上，使内部的压电晶片产生共振，向外发射超声波。超声波接收电路： 由于超声波接收探头产生的电信号非常弱，需要进行放大处理，由晶体管和运算放大器构成放大电路，对接收信号放大后，驱动继电器。一般采用集成的信号放大器芯片，对信号进行放大处理。超声波也是一种声波，其声速V与温度有关。在使用时，如果传播介质温度变化不大，则可近似认为超声波速度在传播的过程中是基本不变的。如果对测距精度要求很高，则应通过温度补偿的方法对测量结果加以数值校正。V = 331．4 + 0．607T ，式中，T为实际温度单位为℃，v为超声波在介质中的传播速度单位为m／s。

2018.01.04
v4l2.c:5:20: error: expected ‘=’, ‘,’, ‘;’, ‘asm’ or ‘__attribute__’ before ‘framebuf’
v4l2.c:96:82: error: expected declaration specifiers or ‘...’ before ‘VideoBuffer’
v4l2.c:127:19: error: expected declaration specifiers or ‘...’ before ‘VideoBuffer’

此时只需要改为typedef struct即可今日初步完成了v4l2
2018.01.05
继续完成v4l2，修改bug和考虑传输

2018.01.04工作报告
今天，上午把舵机驱动部分放到电机和编码器驱动的代码里。
定时器不够用搞了好久，后来查阅了解到2-5是通用定时器，具有计时，输出pwm，监测输出跳变作用，1和8是高级寄存器，也具有以上功能，而6-7只是能作为计数计数用，并不能输出。
查阅datasheet，发现stm32f103zet6在tim9之后的定时器是没有用的，也没有引脚作为输出

下午先测试了Windows，linux，stm32的数据传输，发现每次传输的速度太快，导致stm32无法正常工作，之后调了时间。
之后制定了传输协议，在数据开始时加上了“!”表示开始，后面三位为x，之后为y，之后为图片方向w，接收后，将字符数据转化为数字，解码成x，y，w数据。之后根据x调节了一下舵机。
每次中断，接收数据保存，为保证数据的实时性，只设立一个静态全局变量，设立一个读取函数，在每执一次循环时，读取数据，调节舵机数据。
现在已经实现，舵机跟随人脸的坐标调节

明天：因摄像头装在舵机上，更改舵机算法，使舵机根据相对位置调节，使摄像头中心对准目标（继续调参←_←）。之后看时间，把y轴也加上，把超声波的驱动也加到原来的代码上去。组装一下硬件

V4L2视频传输采集图像的方式有直接方式、用户指针模式和内存映射方式。直接获取的适用于图片传输，内存映射适用于视频传输。基本思路：打开视频设备->查询视频设备->设置参数(帧数，大小，缩放，格式等)->采集数据->发送数据。在数据采集中准备采用输出缓冲区，帧缓冲区，采集到的帧放入帧缓冲区，帧缓冲区满后放到输出缓冲区，初步打算进行UDP传输，速度快，明天进行及时更贴

为方便调试全向平台，得到编码器的输出，方便速度的修正，采用蓝牙模块进行串口输出，下面给出蓝牙模块的配置：
串口转蓝牙模块配置：
蓝牙模块分为主从模块，两者配置基本相同；
对于hc-05模块，将蓝牙与ttl连接，注意将蓝牙上的EN端连接到ttl的5v供电处，其他引脚正常连接；
首先在连接vcc端同时按住蓝牙上的Key，使蓝牙进入AT模式，此模式下才能进行配置蓝牙，通过串口调试工具发送AT指令进行参数配置。
AT部分指令集：
            AT+ORGL\r\n (\r\n即回车、换行，或者在串口调试助手上输入AT+ORGL再按下回车即可)（恢复默认配置）
            AT+PSWD=1234\r\n（设置配对码，注意两个蓝牙的配对码需相同）
            AT+ROLE=1\r\n（0为从机模式）
            AT+BIND=xxxx，yy，zzzz\r\n（将主机绑定到从机上，AT+ADDR?\r\n可查询从机的地址，注意发送的格式）
将两个蓝牙的EN断开，重新通电、两个蓝牙便会自动连接。


对于全向平台的编码器，还在查找给予的PWM与编码器输出的数值的关系，否则无法正确进行修正速度。

2018/01/04:
通过编码器获取转速调整全向平台运行路径，但是找不到固定公式，尝试用不同值得到的不同转速计算公式，将获得的值填入坐标轴得到曲线，但得出的曲线解不出来。。明天另求他法
将全向平台置于地面，预定直线路径走成了曲线，发现有两个轮子的转速与预定值有偏差，最终发现是因为重量分布不均匀的问题，导致后期加装舵机与摄像头需要通过精心计算可能需要多加一块亚克力板，正在寻找解决方法。

AQMH2407ND驱动板资料
https://wenku.baidu.com/view/ca241f5e0912a216147929a5.html
霍尔速度传感器资料
https://wenku.baidu.com/view/025677f714791711cd791720.html
编码器是用来测量转速的装置,双路输出的旋转编码器输出两组A/B相位相差90度的脉冲，通过这两组脉冲不仅可以测量转速，还可以判断旋转的方向。
使用一个STM32板子做核心板。
TIM4作为PWM输出控制，三个通道引脚为PD、PD13、PD14，使用PD0和PD1作为转向的控制。

2018.01.03 完成部分MT7688设置。是依据MT7688用户手册来的，之前没有认真看，发现许多细节里面都有描述。MT7688有两个模式，AP和STA。AP模式是以MT7688为热点，电脑可以接入其局域网，但是无法连接外网。STA模式是MT7688连接外网，电脑也可连接外网。MT7688文件太大，无法上传。
2018.01.04 开始v4l2

注意，帧率不高的原因 也有可能是 传输的数据量太大了，带宽不够。
另外，强烈建议摄像头抓取，使用v4l2 完成，而不是套用已经自带的mjpeg-streamer，它的性能不高。自己做的要精简一些。
使用Linux 下的v4l2框架即可（mjpeg-streamer 内部也是使用了v4l2）

2018.01.03工作报告
今天:完成了Windows->Linux->m3的数据传输，Linux下是为了openwrt下数据的传输，Windows与Linux使用socket，Linux与m3使用串口通信，传输的内容是人脸在图片的坐标和图片方向。制定好了传输协议，传输到m3之后进行转化成了数字的操作
之后，使用OpenCV与WiFi摄像头对接，发现容易卡，后来决定将处理单独设置为一个线程，因为要保证实时性，所以采用一个图片数据大小的缓冲区，丢帧不去处理。暂时使用的是全局变量。另外目标人脸使用的也是全局变量。
明天:今天了解到，回调函数，明天准备将全局变量改一下。
因为信息传递已经成型，所以明天可以开始把舵机部分整合过去，开始调参

2018-01-03目前是板子可以通过摄像头获取的数据传到网页，用OpenCV进行抓取。不过板子是连接到网线，PC必须在同一局域网下，才能访问网页。明天将板子改成AP模式，PC直接连到热点进行图像传输，帖子及时更新ing

2018/01/03: 全向平台运动原理解析
定义绝对坐标系 XOY，全向平台自身坐标系 X’O’Y’。机器人的姿态角为 θ，即全向平台自身坐标相对于绝对坐标的旋转角度。全向平台自身旋转的角速度设为 W。 L 为三个轮子相对于全向平台中心的距离，VAVA,VBVB,VCVC 分别表示三个轮子沿驱动方向的速度；角度 ψ 为 轮子与全向平台坐标系 X 轴的夹角，这个夹角我们可以算出为 60°。我们假定全向平台在任意时刻的速度为 V=[Vx,Vy,W]V=[Vx,Vy,W],其中 VxVx 和 VyVy 分别为全向平台在自身坐标系下的 X 轴 Y 轴方向的速度，W 为全向平台运动的角速度，假定顺时针方向为正方向。那么可得出全向平台运动学方程：
VA=Vx+LWVA=Vx+LW
VB=−Vxcosψ+Vysinψ+LWVB=−Vxcosψ+Vysinψ+LW
VC=−Vxcosψ−Vysinψ+LWVC=−Vxcosψ−Vysinψ+LW

2018.1.3：全向平台的运动（修正）

2018.1.2：http://bbs.anymsg.net/forum.php? ... &extra=page%3D1

2018-01-02：MT7688UVC驱动可以获取图像保存在开发板中（已经发帖），明天进行数据传输给PC

20180212
今天根据写好的代码组装好了全向平台小车，并测试了全向平台的机动性能，基本符合要求，
PWM的输出端口是PD12，PD13，PD14. 霍尔速度反馈器A相B相接M3板子的PA0,PA1；PE9,PE11A6,PA7.

2018.0102工作报告：
今天：所有全向平台硬件已经组装完成，电机与编码器部分已经确认正常工作，算法部分看了一下，如果只要简单的全向移动不自转的话，只需要三个很简单的方程即可，因无法获取数据进行计算，具体还没调试；
因为WiFi这边，无线摄像头这部分快完成，现在准备转向摄像头，今天又在原来vs下的代码上建立了一个socket通信的线程，传输位置等信息，在linux下接收，为之后PC传给mt7688做准备

明天：看一下摄像部分进度，让PC与无线摄像对接

2018.01.02  仍在继续配置MT7688，由于不熟悉，走了不少弯路，配置小结链接如下
http://bbs.anymsg.net/forum.php?mod=viewthread&tid=235
http://bbs.anymsg.net/forum.php?mod=viewthread&tid=237
2018.01.03 明天考试，争取搞完摄像头wifi模块部分

2018.01.01工作报告
今天:把三个轮子的驱动全部编写完成，并整合，封装成函数，连接好部分硬件
明天:开始看算法部分

MT7688的烧录方法已经写帖，明天虚拟机今天崩了（蓝屏），重新装了，配了好久的环境。明天进行UVC驱动，接着是数据传输

2017.12.30工作报告：
今天：完成了编码器驱动，详细步骤已发帖留查看：http://bbs.anymsg.net/forum.php?mod=viewthread&tid=233&extra=
明天：把车组装一个，将三个轮子的底层驱动对接，开始着手运动方程

chinmel 发表于 2017-12-26 03:28
你们用 万向轮 还是 全向轮？ 要明确哦。

全向轮           

12.29
今天学习小车AQMH2407ND模块，百度查小车资料，查到电机上那是摩尔速度反馈，控制模块是AQMH2407ND直流电机驱动模块，找到AQMH2407ND模块资料，了解到电机控制方式AQMH2407ND模块的连线方式，接下来开始在开发板写PWM和电机驱动算法。

2017/12/29 学习全向平台运动模式，尝试编写电机驱动
明天找资料继续

2017-12-29：搭建MT7688的SDK与openWrt环境，已经分别写了帖子，尝试用TFTP给板子烧录bin文件。明天烧录并继续写驱动和数据传输

2017.12.29 完成MT7688初步配置
2017.12.30 明天回家(￣▽￣)~*