移动机器人编程技术与应用 第7章 机器视觉基础

《移动机器人编程技术与应用 第7章 机器视觉基础》由会员分享，可在线阅读，更多相关《移动机器人编程技术与应用 第7章 机器视觉基础（77页珍藏版）》请在金锄头文库上搜索。

1、 机器机器视觉视觉基基础础1.认识机器视觉的基本概念2.掌握NI视觉助手的使用3.掌握识别球的方法4.掌握识别条形码的方法2一、一、视觉视觉基基础础 二、二、图图像采集像采集 三、三、扫扫球球识别识别 四、模板匹配四、模板匹配 五、条形五、条形码识别码识别六、六、LabVIEW视觉视觉3课课程目程目录录一、一、视觉视觉基基础础41.机器视觉2.图像基础5机器视觉是一门涉及人工智能、神经生物学、计算 机科学、图像处理、模式识别等诸多领域的交叉学 科，主要用计算机来模拟人的视觉功能，从客观事 物的图像中提取信息，进行处理并加以理解，最终 用于实际检测、测量和控制。1.1 机器机器视觉视觉6机器视觉

2、目前以及未来的应用前景非常广阔，大家 所熟知的应用领域有：自动驾驶、无人机控制、服 务机器人、工业自动化检测等。1.1 机器机器视觉视觉7简单来讲，机器视觉就是用机器代替人眼来做测 量和判断，通过光学的装置和非接触的传感器自 动地接受和处理一个真实物体的图像，进行分析 图像获得所需关键性信息。1.1 机器机器视觉视觉8数字图像是指以数字方式存储的图像。将图像在 空间上离散，量化存储每一个离散位置的信息， 这样就可以得到最简单的数字图像。像素是构成数字图像的基本单位，如一张600 x300 像素，即横向有600个像素，纵向有300个像素。1.2 图图像基像基础础x0，0）左上角为原点（0，0）9

3、向右为X正方向向下为y正方向y1.2 图图像基像基础础根据每个像素所代表的信息可将图像分为彩色图 像、灰度图像、二值图像。R、G、B三分量 表示，每个通道默认取值范围0255。灰度图像：每个像素只有一个采样颜色 的图像，通常显示为从最暗黑色到最亮 白色的灰度，通道默认取值为0255。二值图像：每个像素点只有两种可能，0代表黑色，1代表白色。10一幅数字图像有三个基本属性：分辨率、清晰度 以及平面数量。分辨率：指每英寸图像内有多少个像素点，图像 的分辨率越高，所包含的像素就越多，图像就越 清晰，但同时也会增加文件占用的存储空间。清晰度：指图像可看色度的数量，对于给定位深 度为n的图像，则图像清晰

4、度为2n，这意味着一个 像素可以有个2n不同的值。平面数量：相当于组成图像的像素数组数量，例 如灰度或二值图是由一个平面组成，彩色图像是 由三个平面组成的。111.2 图图像基像基础础二、二、图图像采集像采集121.摄像头选型2.摄像头连接3.图像采集13针对移动机器人活动场地及功能任务，我们在摄 像头选型上采用Microsoft LifeCam Cinema。参数如下：对焦方式：自动对焦对焦范围：4倍数码变焦视频图像：Clear Frame技术可提供流畅的 1280720 30FPS视频拍摄体验（即最大分辨率为 1280720，最大帧频为30FPS ）其他特点：内置降噪麦克风142.1 摄摄

5、像像头选头选型型硬件连接摄像头打开NI MAX远程系统对 应连接上的myRIO设备与接口“cam0”。2.2 摄摄像像头连头连接接152.2 摄摄像像头连头连接接16名称名称功能功能Video Mode选择摄像头拍摄模式，一般默认为320240YUY 2 30.00fpsPixel Format选择摄像头像素格式，一般默认为YUY2Output Image Type选择图像输出类型，一般默认为自 动Timeout选择超时时间，一般默认为5000ms名称名称功能功能Snap拍摄图片Grab连续获取图像Histogram图片灰度分布图Save Image保存图片2.3 图图像采集像采集NI公司的视

6、觉开发模块是专为开发机器视觉和科 学成像应用的工程师而设计的， 里面包含NI VISION Builder和IMAQ Vision两部分。NI VISIONBuilder是一个交互式的开发环境，能快速完成视 觉应用系统的模型建立。IMAQ Vision是一套包 含各种图像处理函数的功能库。可以自动 生成LabVIEW程序框图，该程17序 框 图 中 包 括 NIVISIONASSISTANT 建模时一系列操作 的相同功能。视觉助手位于开始菜单所有程序 National Instruments Vision Vision Assistant。打开Vision Assistant，弹出的界面选择L

7、abVIEW。2.3 图图像采集像采集182.3 图图像采集像采集Vision Assistant默认进入图像处理界面。采集图像界面 浏览图像界面图像处理界面函数区步骤区图像显示区工具框192.3 图图像采集像采集Acquire Images设备。1.采集图像界面2.选择摄像头设备20按照上面步骤点击后，在Target点击下拉选项 选择Select Network Target输入myRIO的IP 地址。注意: myRIO与电脑以USB连接，IP地址则为 172.22.11.2 ，以WiFi连接则为172.16.0.1 。(若下拉选项已有IP地址，直接选择即可）2.3 图图像采集像采集21假如

8、摄像头连接无误，则会出现下图的摄像头名 称，这时候我们再点击连续获取，就可以通过视 觉助手获取图像。2.3 图图像采集像采集22保存采集到的图像。2.3 图图像采集像采集232.3 图图像采集像采集24myRIO摄像头图像并保存图像。三、三、扫扫球球识别识别251.扫球识别思路2.图像处理模块26处理图像步骤：1.摄像头采集彩色图像2.彩色阈值处理（区分球和其他物体）3.粒子处理4.粒子分析提取坐标3.1 扫扫球球识别识别思路思路273.2 图图像像处处理模理模块块彩色阈值处理：对彩色图像的三个平面应用阈值 处理 ，并将结果放置到一幅 8 位的图像中。通过Red、Green、Blue 三个参数

9、设置恰当的阈 值， 从而对彩色图像进 行二值化处理， 实现区 分所需要识别的目标物 体和多余背景。281.彩色阈值处理3.2 图图像像处处理模理模块块调整上限 和下限的范 围处于黑色 区域内。1.选中需要 识别的目标 物体。3.图像显示框实现目标物体和 多余背景初步分离。292.粒子处理：对阈值处理后的图像进行处理，进 一步减少背景对目标物体干扰。3.2 图图像像处处理模理模块块Remove small objects + Convex Hull）303.粒子分析：分析出目标物体的各种数据，例如 中心坐标及面积等。3.2 图图像像处处理模理模块块313.2 图图像像处处理模理模块块即可实现使用

10、视觉助手完成识别球。323.2 图图像像处处理模理模块块33四、模板匹配四、模板匹配341.模板匹配思路2.图像处理模块35扫码识别：通过摄像头实时采集图像与模板库 中的模板进行匹配，当实际匹配分值大于设定 匹配分值时认为匹配成功，输出数据。4.1 模板匹配思路模板匹配思路361.模板匹配需在灰度图像进行，即匹配前先进行颜色提取，可提取三种原色的其中一种，使其从 彩色图像变为灰度图像。4.2 图图像像处处理模理模块块372.选择模板匹配模块，在设置界面点击创建一个 所需识别的模板。4.2 图图像像处处理模理模块块383.成功创建所需识别模板即可点击完成。4.2 图图像像处处理模理模块块394.

11、选择配置好的模板图像，进行匹配。4.2 图图像像处处理模理模块块数据显示区匹配参数405.即可实现使用视觉助手完成识别码。4.2 图图像像处处理模理模块块414.2 图图像像处处理模理模块块42五、条形五、条形码识别码识别431.识别思路2.图像处理模块44扫码识别：首先通过摄像头实时采集图像，再 使用条形码阅读器读取条形码，输出条形码对 应信息。5.1 识别识别思路思路451、使用条形码不需要对图像进行处理，直接使 用条形码识别即可。5.2 图图像像处处理模理模块块462、选择条形码识别后，需要对界面进行配置。5.2 图图像像处处理模理模块块配置框475.2 图图像像处处理模理模块块配置识别

12、的条形码编码类型：Auto Setup”自动识别483、最终得到识别结果。5.2 图图像像处处理模理模块块495.2 图图像像处处理模理模块块50六、六、LabVIEW视觉视觉511.视觉助手创建LabVIEW程序2.视觉基础函数3.扫球识别模块4.扫码识别模块52LabVIEW视视觉觉1.通过视觉助手直接创建LabVIEW程序。2.在助手上方菜单栏单击Tools Create LabVIEWVI。6.1视觉视觉助助手手创创建建LabVIEW程程序序533.选择视觉助手的脚本，可直接点击Next进行下 一步。4.选择图像资源，可选择Image Acquisition（摄像 头获取图像）。6.1

13、视觉视觉助助手手创创建建LabVIEW程程序序543.勾选在前面板的输入及显示控件。4.点击完成即可生成LabVIEW程序。6.1视觉视觉助助手手创创建建LabVIEW程程序序VI。55LabVIEW编程调用myRIO摄像头进行图像采集。首先了解图像采集函数，程序框图函数视觉 与运动NI-IMAQdx。6.2 视觉视觉基基础础函数函数566.2 视觉视觉基基础础函数函数名称名称函数函数功能功能Open打开摄像头Configure Grab配置摄像头Snap单帧获取图像Grab连续获取图像Close关闭摄像头57注意：图像需要缓冲区储存图像。数据视觉与运动 Vision Utilities Im

14、age Management IMAQ Create。（对所有创建的图像内存缓冲区，IMAQ DisposeVI用来释放由IMAQ Create VI创建的内存数据）6.2 视觉视觉基基础础函数函数58创建图像缓冲区需注意：Image Name必须是 唯一的，它代表了此特定内存的名字，这块内 存将会被写入或者覆盖多次而不会产生新的内 存分配。简单的说就是一个对该物理内存的引 用，用以储存该图像。6.2 视觉视觉基基础础函数函数59IMAQ Dispose VI应当在图像不再需要时调 用。如果一副图像从子VI中传递到主VI，此 时若在子VI中调用了IMAQ Dispose VI将会 释放该图像数

15、据，那么主VI就无法获取图像 的内存数据，这样该图像就无法再被处理或 者显示。6.2 视觉视觉基基础础函数函数606.2 视觉视觉基基础础函数函数LabVIEW单帧采集并显示图像程序。616.2 课课堂堂练习练习62WHILE循环里实时连续采集与显示图像。6.2 课课堂堂练习练习WHILE循环里采集与显示图像程序如下。63把视觉助手生成的LabVIEW程序加上实时图像采 集，即可实现摄像头实时识别球。6.3 扫扫球球识别识别模模块块填充函数去除小点函数粒子分析64实现摄像头实时识别球。要做到摄像头实时识别球，需要将前面视觉 助手生成的LabVIEW程序添加到myRIO项目中，使 得该程序在my

16、RIO上运行，具体步骤如下：1、添加程序；打开或新建myRIO项目，右击myRIO，选择“ 添加”，再选择“文件”，浏览并选择视觉助手 生成的LabVIEW程序；2、修改程序；将彩色阈值函数前面的代码删除，并添加摄 像头Open、 Configure Grab、 Snap、 Close656.3 扫扫球球识别识别模模块块函数以及IMAQ Create函数，将这部分连接起来， 最后用while循环结构将图像采集、处理框起来， 得到最终代码。6.3 扫扫球球识别识别模模块块66实现摄像头实时识别球结果如下：6.3 扫扫球球识别识别模模块块67在LabVIEW上编程实现实时图像采集，根据字符串数组自定义指定顺序依次识别红、蓝和橙色球。686.3 课课堂堂练习练习程序框图如下：6.3 课课堂堂练习练习69扫码有两种方式：模板匹配、条形码识别在视觉助手中直接创建LabVIEW程序，将产生的 程序导入myRIO项目中，加上循环结构，修改图 像采集的代码，即可使用。得到参考代码如下：6.4 扫码识别扫码识别模模块块70在视觉助手中直接创建LabVIEW程序，加上图像 采集的程序，模板匹配的程序整体框