摘 要
火灾一直威胁着人类生命和财产的安全，提前检测出火苗一直是一个重要的研究课题。通过机器人视觉与图像处理这门课的学习，选择火苗检测识别作为课程设计的方向。受能力所限，本文只针对室内场景的打火机火苗视频，研究了火苗的三种静态特性，提出了一套较为基础的火苗检测方法。本文的主要研究内容有:
(1）研究了静态火苗的颜色特性与轮廓形状特性。利用火苗的颜色特征分割火苗图像，分析火苗图像在HSV颜色模型下的分割结果。
(2）研究了火苗视频中的与轮廓形状特性。根据打火机火苗较为固定的轮廓形状特性，找到标准值，作为识别检测打火机火苗的依据。
关键词：室内场景，图像分割，特征提取，火苗检测
Abstract
Fire has always threatened the safety of human life and property. Detecting fire in advance has always been an important research topic. Through the study of robot vision and image processing, flame detection and recognition is selected as the direction of course design. Limited by the personal ability, this paper only studies the three static characteristics of the lighter flame video in the indoor scene, and puts forward a set of more basic flame detection methods. The main research contents of this paper are as follows:
(1) The color characteristics and contour shape characteristics of static flame are studied. The fire image is segmented by using the color characteristics of the fire, and the segmentation results of the fire image under the HSV color model are analyzed.
(2) The contour and shape characteristics in flame video are studied. According to the relatively fixed contour shape characteristics of lighter flame, find the standard value as the basis for identifying and detecting lighter flame.
Keywords: indoor scene, picture segmentation, feature extraction, the flame detection
目 录
摘要 ………………………………………………………………………………..Ⅰ
Abstract …………………………………………………………………………….Ⅱ
第1章 绪论
1.1 课题背景及研究的目的和意义……………………………………………….1
1.2 国内外研究现状……………………………………………………………….2
1.3 火苗识别方法分类…………………………………………………………….2
1.4 本文的主要研究内容………………………………………………………….3
第2章 火苗视频的帧提取
2.1 火苗视频的结构……………………………………………………………….5
2.2 火苗视频的帧提取…………………………………………………………….5
2.3 本章小结……………………………………………………………………….5
第3章 火焰图像预处理
3.1 颜色模型介绍………………………………………………………………….6
3.2 图像阈值滤波………………………………………………………………….7
3.3 本章小结……………………………………………………………………….8
第4章 火焰图像的特征提取
4.1 静态特征介绍………………………………………………………………….9
4.2 静态特征的提取和比较……………………………………………………….9
4.3 本章小结……………………………………………………………………….10
结论………………………………………………………………………………..…11
参考文献………………………………………………………………………….…12
致谢………………………………………………………………………………….. 13
第1章 绪 论
1.1 课题背景及研究的目的和意义
火是人类进入文明世界的标志，人类可以发生并且使用火，是人类与动物的最大区别之一，火是人类进入文明社会的一个重要因素，然而和其它许多事物一样，火也具有两面性[1]。一方面，火给我们的日常生活带来了巨大便利，推动人类社会不断的向前进步发展;但是，一旦使用不当，火又会有很大的破坏性，甚至会毁灭我们所拥有的一切。在人类历史上，火灾对我们造成的伤害与损失不计其数[2]。例如森林火灾，伴随着全球气候变化以及人类活动范围增加，各国的森林资源安全性都受到了极大的挑战。森林火灾破坏性很大，不仅造成经济损失人员伤亡，还导致土壤沙漠化，进一步破坏生态环境。气候变暖常常导致火灾频繁发生，2020年伊始，澳洲持续近四个月的大火震惊国内外，澳大利亚这场大火导致数千亩林地被烧毁，几十万民众背井离乡，野火将澳大利亚林地烧焦，加剧了气候干旱。我国火灾也异常严峻，去年，我国全境共有2400起森林火灾发生，当中有9起重大火灾、三起特大火灾，据官方统计14003公顷森林面积受影响[3]。足见森林火灾威胁巨大，因此火焰检测识别显得非常重要。我也希望在此过程中通过学习贡献出自己的一份力量。下图1-1展示了几次典型的火灾。
(a)卫星拍摄澳大利亚大火(2020.01.06) (b)四川凉山森林火灾（2020.03.31)
在一些严禁烟火的地方，例如大型仓库、油库、加油站，一旦出现火苗，将会发生难以预料的情况。在商场等公共场合也发生过多起蓄意纵火的行为，严重威胁公众的安全。因此有效的火苗检测识别方法对尽早的发现火灾，对于社会有着重大的意义。
人们对于火灾报警装置的研究更是由来已久。在19世纪50年代，美国与德国等西方国家就研究并制造出了简易的火灾报警装置。目前，市场上以及实际应用的火灾报警装置主要是基于传感器探测的报警装置。传统的基于传感器的火灾探测装置，主要是利用传感器探测环境中的温度、烟雾浓度、气体含量、火焰光线等。当传感器获取的变量值达到预定的值，就会发出相应的火灾报警信号[4-6]。传感器需要火灾达到一定程度才能探测到相应的变量值，而且在许多场合由于环境的限制传感器探测存在着误差。往往在这类报警器作用之后，火灾已经到了较为严重的阶段。
近些年，随着视频监控和数字图像处理技术的迅速发展，利用火灾的视觉特征进行检测识别的技术也在不断向前推进。因此我希望通过机器人视觉与图像这门课程的学习，利用图像处理技术，根据火焰的静态特征进行检测识别。
1.2 国内外研究现状
传统的火焰识别多基于传感器获取火灾现场烟雾或者化学变化信息，而对火焰本身开展研究较少。同时传统检测手段的成本比较高，不能被反复的利用。随着科技的及展，人们对火焰的特征研究更加的深入，出现了基于火焰特征的识别方法，这使得火焰识别的效率以及准确率得到了很大的提高。
图像是一种数字信号，它反映了数字对象的许多特征信息，所以基于图像识别火焰的技术前景广阔。目前，海内外诸多科研院所以及公司都推出来自己的火焰识别技术。不断推陈出新，利用不同参数模型来进行识别。
早在20世纪初，国外就开展了火焰检测的研究，用于对火灾的预警。这一研究过程经历了传感器检测，数字图像处理技术结合传感器识别以及直接对图像检测识别火焰的过程。
目前，国内对火焰识别的研究也有很多。随着数字图像处理技术的发展，识别方法也不断更新。技术要求越来越高，方法不断完善，识别效率也逐渐提高。
我通过对文献的阅读学习，经常被用到的图像识别算法是利用传感器结合图像的某些特征进行火焰识别。我学习并提出对火焰的颜色、静态特性等组合起来对火焰进行识别。
1.3 火苗识别方法分类
近一个世纪以来，人们不断探索各种火焰识别检测的方法，这些方法主要分为两大类，一类是基于不同类型的传感器进行的检测识别，另一类是基于视觉图像识别的火焰检测。
基于传感器的火灾探测器主要分为感温探测器、感烟探测器、气敏式探测器以及复合式等类型[7,8]。
感温火灾探测器的传感器工作方式主要有两种[9]。一种是热传感器，检测到的温度超过了预定义的阈值（通常是58℃或更高)，定温报警装置启动。第二钟是温差式热传感器。当周围的温度上升速度超过内置的7至8℃时，报警装置就会启动。基于热传感器的报警虽然一般比较可靠的，但是，其对火反应迟钝，往往已经在酿成大祸或已造成既定损失后才检测到火焰。
感烟火灾探测器是通过检测物质燃烧初期所产生的气溶胶或烟雾粒子的浓度等进行火焰的检测。所以感烟探测器一般不能用在有烟滞留的场所以及较为空旷的场所。适用范围较为狭窄。
可以看出对于基于不同类型的传感器来说，其原理是根据传感器测试不同物理量来进行检测。这些不同种类的基于传感器的可靠性，主要依赖于对于测试相应物理量的灵敏度，以及这些装置工作的具体环境和位置。
对于基于视觉图像识别的火焰检测来说，随着近一世纪以来电子技术和图像视频技术的快速发展，基于视觉的火焰检测识别技术也得到飞速的发展。
基于视觉图像识别的火焰检测主要都有通过HSV空间的颜色信息提取潜在火灾区域，然后通过颜色与帧间变化信息获取火焰的时空轮廓特征，并且最终采用神经网络的方法来进行识别。还有以建立平滑高斯颜色直方图的方式检测类似的火焰区域，然后通过图像序列之间像素随时间的变化来确认实际的火焰像素点。接下来通过腐蚀操作清除虚假的火焰像素点，运用区域生长的方法发现缺少的火焰像素点。还有的用小波域分析视频中的静态火焰以及火焰的闪烁频率。运用小波变换检测火苗边界的信息周期变化，通过计算移动火焰区域的空间小波变换来检测火焰区域的颜色变化，最终结合火焰区域边界的不规则性来检测。还有的利用颜色信息和图像序列运动信息提取出感兴趣区域，然后利用火焰颜色局部对比度分进一步去除非火焰的区域，最终用径向基核函数的支持向量机方式进行识别。还有的利用图像序列时间与空间信息的方法检测火灾。先将视频分为空时块，从这些时空块中提取协方差特征。利用火焰相关颜色区域的空间和时间特征为特征向量，用支持向量机的方式进行检测。还有的利用三维信息来检测火灾的方法。指出先用简单的颜色与背景差分方法提取火灾候选区域，生成形状、大小、运动变化三个变量的高斯模型，最后立体相机利用左边与右边两个相机的匹配算法重建出火的真实模型。还有的利用一种对帧图像间相关性算法优化的方法，这种优化方法能够连续的对目标背景进行更新,利用更新完成的背景图像进行邻域背景比较,获得目标物轮廓，从而提取出火焰轮廓。还有的采用邻域帧像素的变化来刻画目标物的面积变化。采用这一方法快速的提取出火焰的动态特征，接着结合火焰的颜色特征，综合判断火焰。
可以看出来近些年在基于视觉图像识别的火焰检测方面发展进步有多么的大，这也是我学习通过图像识别来进行火苗检测识别的一个原因。通过图像识别进行火苗检测识别的方法多种多样，作为一个初学者，虽然不能一一掌握，但是通过阅读相关文献，也能了解到其中的脉络，并自己设计一个较为初步的火苗识别方法。
1.4 本文的主要研究内容
本文的主要研究内容是进行基于图像识别操作的火苗检测的算法研究，以室内场景打火机的火苗为研究对象，通过一系列的图像处理算法来分析火苗的特性，从而在室内场景中检测出打火机的火苗。
首先对火焰视频分割及关键帧提取，接着对火焰图像进行预处理，获取潜在的火苗区域，得到潜在火苗区域时，需要分析与火苗相关的特征，其中涉及到火苗图像的静态特征，这时需要选取合适的表示火苗颜色的模型，然后对火焰进行特征提取，为了在检测火苗时有很好的效果，最后运用多特征融合方法对火焰进行识别判断。
第一章为绪论。首先分析了火焰识别的研究背景以及意义。然后叙述了目前火焰识别技术的发展情况以及分类，并且介绍了近十几年来基于视觉的火灾检测各种方法，然后提出了本文的技术路线，紧接着系统地对各章节进行了阐述。
第二章为火苗视频的帧提取。介绍了火苗视频与图像的关系及帧提取算法。
第三章为火焰图像预处理。从RGB空间转到HSV空间进行阈值滤波，得到潜在的火苗区域。
第四章为火焰图像的特征提取。这一章主要阐述了火焰的静态特征，结果证明，使用本文提取的静态特征能够初步的反映出火焰的特性。
最后为结论。对本文所做的研究进行了总结，同时对文中提出的方法存在的不足进行了讨论，指出了下一步的研究方向和学习内容。
第2章 火苗视频的帧提取
2.1 火苗视频的结构
火苗视频其实就是由一张张火苗图像构成，当这些火焰图像按照一定的顺序和速度进行循环播放的时候，人眼由于视觉暂留的作用，人视察到这些火焰图像就会不断连续，进而这些火苗图像就组合成了火焰视频。也正是因为这样，火焰视频通常与静态火焰图像有很多共同的特征，因此本文作为初学者，也是通过对火苗静态特性的检测来完成算法的设计。
2.2 火苗视频的帧提取
首先介绍一下帧的定义，帧就是单幅影像画面,它是视频画面中的最小单位。一张静止的画面就是一帧图像，连续不断的帧动起来就形成了视频画面。一般我们说的帧数目，指的是在单位时间内传输出的图片数，换言之图片处理工具单位时间能够刷新的次数，通常用FPS表示。
由前述内容可知，图像是视频的最基本单位，所以，火苗视频的单张图像是我们研究的关键。
利用MATLAB R2020a中readframe方法来读取帧，使用 readFrame 方法读取所有帧，一次读取一帧，并显示这些帧。
1 | while hasFrame(vidObj) |
2.3 本章小结
本章介绍了火苗视频与图像的联系，并介绍了帧的定义，通过对单张图像的处理完成对视频的处理，提出了本文采用的帧提取算法。
第3章 火焰图像预处理
3.1 颜色模型介绍
首先是要对火苗视频的颜色特征的采集，然后进行滤波，因此选择一个合适的颜色模型至关重要。
(1)RGB空间
一张彩色图片的色彩可以用RGB空间表达，R,G,B表示这种空间三个方向的坐标轴。它的原点所代表的是黑色，距离这个原点最远的顶点所代表的是白色，所示的立方体与R,G,B这三个坐标轴的交点对应红色、绿色和蓝色三个颜色的主要部分，剩下的三个顶点对应于蓝绿、品红以及黄这三个补色。在RGB颜色模型里，它的灰度值从黑到白。
人类能够看到色彩归功于光照反射到人眼，经过大脑产生物质对视觉细胞产生影响，触发连锁反应，这时候脑部神经元就会让大脑形成认知，识别出色彩。X，Y，Z是三种施加影响的相关参量，这三种参量与色彩模型中R，G，B的关系如下:
x =0.409R+0.310G+0.200B
y =0.177R＋0.813G+0.010B
z=0.00OR+0.010G+0.990B
人对颜色的视觉感知不同于RGB颜色模型空间。这种颜色空间模型分布最不均匀，在这种模型当中，无法通过像素点的差距去描述色彩的程度。
(2)HSV空间
通常情况下，HSV空间会更受大家欢迎，它被称为画家配色模型，H代表着空间的色彩基调，而S则表达其饱和程度，V代表着明暗程度。
HSV这种模型有两点比较特殊:明暗程度V和色彩联系不紧密，人对颜色的视觉感知与色调H和饱和度S两个分量非常符合。
因此本文选取HSV模型进行火苗的检测识别。
3.2 图像阈值滤波
图像阈值滤波的目的是在一幅图像中将目标物体从图像的背景中分离来，为后续的图像分析和处理提供基础。图像阈值化是要按照图像中像素点的灰度值，对图像的像素集合进行一个划分，得到的每个子集形成一个与现实物体相对应的区域，各个区域内部具有一致属性41。常用的分类特征来自原始图像的灰度、彩色特征，或者由图像的灰度、彩色特征变换得到。
图像中像素点的值为f(x,. y)，若图像中目标物体与背景像素所具有的灰度值组成了两种不同类别的属性，从背景中提取出目标物体的一种简单的方法就是选择一个合适的阈值T将这两种具有不同灰度属性的物体分隔开。按照一定的准则在f(x,y)中找到合适的特征值T，将图像分割为两个部分，分割后的图像为g(x.y)，如式(3-1）所示。
(3-1)
式(3-1）中像素点的灰度值f(x, y)大于阈值T属于一个类别，像素点的灰度值f(x, y)小于等于阈值T属于另一个类别。若阈值T是对于整幅图像来说的那么式(3-1）的处理过程就是全局阈值处理;若阈值T在处理图像的过程中是个可变的值，那么这个处理过程就是局部阈值处理。
1 | filter_hsv = (original_hsv(:,:,1))>0.16; |
如下是本文在HSV颜色模型下对图像进行阈值滤波。
（a）室内场景打火机火苗图像（b）HSV颜色模型下图像 （c)滤波后图像
由图可以看出在该场景下的火苗图像，HSV颜色模型分割得到二值图像可以较好的将火苗单独的分割出来。
3.3 本章小结
本章首先介绍了两种颜色模型，其次介绍了阈值滤波分割图像，并得到了较好的效果。
第4章 火焰图像的特征提取
4.1静态特征介绍
长宽比用物体的长（a）与其宽（b）之比来刻画，反应物体的长宽关系：
从图像区域每个像元的二维坐标中比较得到相隔最远的两个点的距离确定为火焰区域的长，定为外接最小矩形的长，长轴斜率遍历边界中的每一个像元算出截距，得到取最大截距 两个边界点，算出这两点到长轴的距离之和定为火焰区域的宽。
圆形度用来刻画边界的复杂程度，例如，比较相同面积的圆形和星形，星形等图形要比圆形的周长大的多2。因此，提出圆形度C来表示物体的形状复杂程度:
式中，L为区域周长，A为区域面积。分析表明，当图像区域为圆时，C有最小值2T。其他任何形状的图像区域，R>4T。且形状越复杂，C值越大。
4.2静态特征的提取和比较
利用
1 | [B,L] = bwboundaries(hsv_dilate,'noholes') |
找出所有不包括孔洞的连通域。
1 | tempRatio = range(boundary(:,1))/range(boundary(:,2)); |
计算出目前区域的长宽比
1 | if tempRatio < ratio*(1-bias) || tempRatio > ratio*(1+bias) |
和之前测量的样本的标准长宽比进行对比，bias是偏移的百分比，目前是25%
1 | selected = (L == iii); |
如果在范围内，也就是不符合要求，则更新filter_hsv这个mask。
1 | stats = regionprops('table',B{iii},'Area','Perimeter'); |
统计第iii个连通域的面积和周长
1 | Ck = 4*pi*sum(stats.Area)/(sum(stats.Perimeter)).^2; |
CK_Threshold是之前测量的样本的值，如果目前的值比测量值大，则不符合要求，同样更新Mask
1 | if Ck > Ck_Threshod |
Bwboundaries函数可以计算图像中区域的边界，并在图像上叠加边界。
boundary返回一个表示包围点 (x,y) 的单个相容二维边界的点索引向量，此代码中意即返回边界的长和宽以便计算长宽比。
Regionprops函数用来度量图像区域属性的函数.常用来统计被标记的区域的面积分布，显示区域总数。返回值STATS 是一个长度为 max(L(:))的结构数组,结构数组的相应域定义了每一个区域相应属性下的度量。此代码中意即返回第iii个连通域的面积和周长。
（a）经过长宽比更新后的图像 （b）经过圆形度更新后的图像
从结果可以看出在该场景下的火苗图像，经过长宽比和圆形度两个静态特征更新后，火苗图像可以较好地分割出来。当然这也是在较为稳定的室内环境且较为固定的打火机火苗状态下所识别的，主要在于对图像处理知识的学习。
4.3 本章小结
本章首先介绍了两种静态特征，长宽比和圆形度，其次介绍了本代码对于两种静态特征的利用和识别，处理图像，从结果看出得到了较好的效果。
结 论
基于视觉的火苗检测是目前一个重要研究方向，本文针对室内场景下的打火机火苗，主要研究了基于图像的火苗检测算法。针对火苗的特性，本文提出了合理的识别火苗的方法，首先对视频提取帧，然后通过HSV颜色模型下阈值分割获取火苗的潜在区域，接下来对潜在火苗区域进行静态特征分析判别是否存在火苗。
具体总结如下:
(1)研究了火苗的颜色特性，通过阈值分割方式得到与火苗颜色相近的图像。
(2)将对静态特性的分析用于火苗检测的中，将火苗图像识别出来。
由于只是对于颜色、长宽比、圆形度三个特征进行检测识别，因此在其他环境中误差会较大，所以算法仍有很大的改进，比如除了静态特征以为，应该再加上对动态特征的识别，火焰燃烧毕竟是一个动态过程，研究文献发现，可以采用帧间差分的方法，帧间差分法是一种通过对视频帧或者图像序列中相邻两帧作差分运算[38]来获得运动目标轮廓的方法。这种方法的优点是算法的实现比较简单，时间复杂度较低，并且可以适应于各种变化环境，但是提取目标对象比较粗糙，不能得到目标的完整的区域信息。我又了解到一个新的颜色模型，YCbCr颜色模型，YCbCr是DVD、摄影系统、数字电视等一些视频类的产品中，经常采用的种的色彩编码方案。YCbCr是YUV颜色模型经过缩放和偏移的一种翻版，可以看成是YUV颜色模型的一个子集。YCbCr中的Y分量指的是颜色空间中的亮度信息，Cb分量指的是颜色空间中蓝色分量与参考值之间的差，Cr指的是颜色空间中的红色分量与参考值之间的差。在今后的进一步研究中，可以比较一下不同颜色模型的效果进行取优。也了解到利用支持向量机等方法进行识别分类，对于图像处理的学习仍任重道远。
参考文献
[1] 陈涛，袁宏永，范维澄.火灾探测技术研究的展望[J].火灾科学,2001,10(02):108-112
[2] 刘海生，张鑫磊，宋丽霞．基于统计数据的全国火灾形势综合评价与预测[J].中国安全科学学报, 2011(06):54-59
[3] 刘培勋.基于视频监控的全天候火灾检测系统[D].长春:吉林大学,2011,24-31
[4] 葛勇.基于视频的火灾检测方法研究及实现[D].长沙:湖南大学,2009,13:21
[5] 及林.基于图像特征提取的火灾检测[D].大连:大连理工大学,2013,23-37
[6] 钟取发.动态环境下早期烟雾、火苗的视频分级检测研究[D].杭州:浙江理工大学,2010
[7] 刘骏跃，陈明.多传感器信息融合火灾预报技术研究[J].工矿自动化, 2003(05): 14-16
[8] 晏均，周群彪，谢晓阳.基于无线传感器网络的室内火灾报警系统[J].中国民航飞行学院学报,2009(02): 45-48
[9] 李明轩，卢国建，胡忠日，等.点式感温火灾探测器动作时间预测方法的应用[J].消防技术与产品信息,2015(09): 3-5
