前言
校招结束后,实验室要求一直在搞论文,11月底提交完成。开始按照沈工列的读书清单看看书。海康威视从安防起家,虽然自己搞的是计算机视觉算法,出于对领域业务的熟悉,也需要读读相关的书。
说来也很有意思。14年大四进入实验室,接触到的第一个项目就是“警情识别显示系统”。项目PC版当时已经完善,自己工作主要是后续的嵌入式版本移植。因为项目验收,亲自研究过整个监控系统的硬件搭建,向当时布线工程师学会了如何接模拟BNC同轴电缆的接线,自己研究了RS485、232的简单电气原理,尝试着自己接线。男生总是对工程感兴趣。项目结束后,走在商场看到墙上的摄像头,能知道设备上的三条线(电源、视频传输、串口控制)各自的作用。因此看书时看到一些术语,颇有一些亲切感。这个项目在研一时结束。不曾想到,校招时签了海康,又回到老本行啦。
荐书:《安防天下-智能网络视频监控技术详解与实践》
作者:西刹子,安防领域工程师
阅读本书前言和第一章后,就自己认识到的一些概念和以前存在混淆的概念,加上以前的实践和理解,记载以下几个问题。
1、什么是安防?
提起安防,大部分人第一反应就是监控,无处不在的摄像头。实际上,安防是一个完整的系统,不仅包含视频监控,还包括门禁打卡,指纹识别,面部识别,警情处理等全过程,其共同构建了安全防护。
视频监控是安防领域一个重要分支,和其他技术比起来,这个领域涉及的计算机技术更加多样,难度较大,可研究点较多。海康威视目前定位就是:以视频为核心的物联网解决方案提供商,致力于不断提升视频处理技术和视频分析技术,面向全球提供领先的监控产品和技术解决方案。
这里面的两个关键词:视频处理和视频分析技术。智能化的感觉。属于计算机应用范畴。特别是视频分析技术,基于学术界不断研究提升,如今AI的兴起,对视频分析技术将是一次提升。因此看到有概念讲:安防+AI。
2、视频监控中涉及的技术
视频监控技术,属于计算机应用领域,就是说其依赖构建在计算机技术的发展之上。从系统模块来看,其涉及到起码包括:
- 光电成像技术(摄像机)
- 计算机网络(信号传输)
- 处理器芯片(信号数模转换、编码压缩、解码显示等)
- 计算机存储(视频抓拍、录制存储)
- 计算机视觉(图像分类、物体检测)
这么一看突然觉得很有意思:海康威视的技术部门来西电校招真是非常合适。因为物理与光电工程学院(5系)就是搞光电成像的,通信工程学院(1系)图像所李云松老师团队的图像编码压缩技术是给天宫飞船上用的,电子工程学院(2系)雷达所是搞信号处理的,人工智能学院和计算机学院(3系)搞计算机视觉(Computer Vision, CV)很强,计算机院外部设备所是搞存储的,网络所是搞网络技术的。哈哈。
这五项技术中的任何一项有发展,都可以推动视频监控技术的前进。譬如现在的CV领域,随着深度学习兴起,工业界和学术界不断出现新高度。记得去年海康威视研究院团队在图像分类竞赛上上拿过第一。而大规模海量视频监控中,如果可以应用成熟的CV技术,那带来的效率提升不是一点点。
3、视频监控技术发展过程
根据本书的观点,随着安防主流设备的发展过程,可分3个大的阶段:
- 20世纪70年代开始的模拟视频监控
- 20世纪90年代的数字视频阶段
- 近年来的网络视频监控阶段
作者同时指出,这三代划分不是非常严格的,现实中因为成本等因素,多种架构并存。
4、模拟信号和数字信号
以前在计算机通信课中学习过模拟信号和数字信号的概念。
上述3中的发展过程同样涉及到此。简单来说,模拟信号指的是连续信号,数字信号指的是离散信号,譬如二进制编码流。模拟信号直观,但是容易受噪声影响,失真,而且容易被窃听,收到模拟信号,容易获取信息。数字信号抗干扰能力强,门限值可以过滤掉一些噪声。可较长距离传输。
5、模拟视频监控一代
模拟视频监控系统,也叫作闭路电视监控系统。
所谓闭路电视,指的是从视频源,传输系统,到接收显示环节,都是通过线缆一对一的“closed”连接。小时候常见的闭路电视后面都有一根运营商拉过来的线。普通的电视插上天线就可接收“open”的信号,是“free”的。闭路电视收看的内容更加丰富,一对一,所以是付费的。
所谓模拟监控,指的是相机的图像信息,经过同轴电缆(端口是BNC口)传输,由磁带录像机(VCR)录像并存储。磁带介质的检索效率低下,但是便宜。
注意:整个系统中不涉及任何数字信号。
闭路电视监控系统的组成包括:
- 视频信号采集(摄像机,镜头)
- 信号传输(电缆)
- 切换控制(矩阵控制器)
- 显示和录像(监视器和录像机)
其中,矩阵控制器解决的问题是“一屏多看”。即用少量监视器看到多台摄像机,来回切换。一台摄像机就架设一台显示器不仅浪费,而且没必要。
模拟视频监控系统,本质上讲是将人的视力范围,延伸到了电缆的长度。技术难度较低。
6、数字视频监控二代
一代中的磁带录像机存储效率不高,而且检索效率低下,不久即被一种新的设备——硬盘录像机(DVR)所取代。
计算机体系结构课中曾提到过,磁盘存储的本质是根据磁通量的高低指示表示信号(0或1),因此可以存储二进制数字信号。那么硬盘录像机存储的肯定就是数字信号。那数字信号怎么来的?DVR设备前端有一个视频采集卡,其上有一个A2D(模拟to数字)芯片,可将接收到的模拟信号转换为数字信号。这样就实现了视频的数字化录像。
注意:此处就开始有了数字化的概念。
那这里就有一个问题:磁盘上世纪50年代就已出现,磁带录像机诸多不便,为何硬盘录像机直到90年代才开始应用?原因是:成本。今天1T的硬盘售价大概是500元人民币,而在上世纪90年代前,磁盘造价昂贵,在工业中难以推广。正是因为存储技术不断前进,造价大幅度减低,DVR才得以大规模应用。
DVR功能越做越强大。其组成包括:
- 视频采集卡(A2D芯片)
- 音视频编码压缩模块(专用芯片,算法已固化在芯片上)
- 存储模块(将文件写入磁盘)
- 网络传输模块(可通过网络接口与其他设备连接)
- 软件控制模块(用户可远程控制)
可以看到,DVR就有了一定的技术含量了。特别是编码压缩算法模块。这是学术界一直在努力的课题。当时我在警情项目中,相机采集到的原始数据是YUV格式,一帧大小是1.24MB,这要是存下来,硬盘多大也不够用啊。于是就需要通过视频编码压缩算法进行处理,尽可能用较小存储量来保存更多信息。这是一个难度很大的问题,可以说是DVR的核心。
西电图像所的吴成柯老师一生都在做这个事,到李云松老师时代积累丰厚。2009年嫦娥二号卫星在月球表面拍摄画面要传回地球,通信链路非常珍贵,就需要尽可能压缩图片信息,同时还要保证传回地球后能解码还原,不能失真,难度可想而知。最后中国航天科技委就委托西电图像所负责这个问题。听宋老师讲,实验室已将图像压缩编码算法固化到芯片上了,别人直接买这个芯片就可以应用了。
当然业界有一些比较成熟的应用于商业上的算法,比如MPEG-4算法。我们警情项目中用的是H.264算法。现在已经出了H.265算法。不过这些算法只是提供了一个框架标准。各个厂商制造细节上为了搞商业壁垒,会对算法进行细节处理,即使大家都是H.264算法,但也不能互相通用,这样做纯粹是为了商业上的利益。
截止到二代,此时监控系统部署的格局就是:前端架设很多摄像头,每个摄像机引出来模拟视频信号,通过电缆传输到DVR中。DVR可以做编码、存储、查看视频等功能。DVR是核心设备。
海康于2001年创立,刚起家时就是做DVR打开了市场。其上级单位中电52所的全称就是:计算机外部设备研究所。这属于计算机应用领域,因此投资搞这个技术优势很好。西电计算机系(3系,现计算机学院)原系主任王厚生教授,就是搞磁盘存储的专家,1986年至1990年曾担任过52所所长。
7、智能网络视频监控三代
现在来看,实验室警情项目仍属于视频监控2代。前端摄像机通过电缆传送信号,信号接入到实验室自行研制的警情识别器中,对每帧图像做防区入侵检测。这就引入了智能化。这套设备优势在于不需要民警一直盯着防区,而由计算机辅助判断是否存在防区入侵,有警情才上报,民警再去判断即可,大大减轻了民警负担。
该项目于2015年结题。2016年暑假的另一个项目中,看到了北京某厂家生产的一种球机叫 IPC。确实开了眼界:球机本身集成了A2D模块,智能分析模块,网络服务器模块。从球机仅出来一根网线。通过交换机和PC相连后,在PC浏览器中输入球机IP地址,可直接访问球机服务器。浏览器界面中可以实时查看高清视频,可控制球机云台,可设置防区和规则,可收到报警提示。相当于把我们的警情识别器和警情客户端都集成到球机中。
我想这就是书中作者提到的智能网络视频监控三代。查了下本书出版时是在2010年,距今已有7年。安防领域的书偏少,还是要不断更新,把新事物、新技术写进去才好。
三代中包含2个关键词:智能和网络。
-
所谓智能,即监控系统解放了人,不再是对人的视力空间上的延伸,计算机可以帮助人完成简单判断任务,减轻负担。警情出现的概率毕竟较小,可能24小时防区一直安全,人一直盯效率太低。
-
所谓网络,即监控系统的传输都实现数字化,最常见的就是基于网络系统来部署安防系统。以前球机引出模拟视频线和串口控制线。现在只引出一根网线,所有信号编码成数字信号,在其上传输,网线两端只需要根据网络协议解码即可。这样布线方便。而且网络传输效率越来越高,千兆网卡也比较便宜。
上面这个智能,随着2012年深度学习的兴起,被赋予了更多内涵。
实验室警情识别器和北京这台IPC球机上的智能算法,摊开来讲,就是“防区检测”,即判断图像中某块区域的背景是否发生了改变。我虽然没有研究过该算法,但大体了解这种算法是基于图像的运动特性来做。简单来说,某防区出现警情,可看做图像该区域背景出现了变化。但到底是坏人闯入防区,还是小动物闯入,这是不能判断的。
2012年,深度学习兴起,其在计算机视觉(CV)领域大放异彩。在图像分类、物体(目标)检测、图像分割等领域迈出一大步。如果说前面“防区检测”属于三代智能化,那和这个比起来就是低级智能。可想而知,随着深度学习技术不断成熟,其应用于安防领域(即安防+AI)后,必将大大提升视频监控系统的智能化程度。目前海康研究院正是聚合了计算机视觉方面的很多技术人才,如海康威视首席科学家、海康威视研究院常务副院长蒲世亮就是搞CV的大牛。
8、视频监控的核心技术总结
作者在这个题目下列出了以下:
- 光学成像器件
- 视频编码压缩算法
- 视频编码压缩芯片
- 视频管理平台
诚然,这几项有硬有软,构成了视频监控系统的框架。我想,还应该加上计算机视觉技术。其类似于作者提到的一个概念:视频内容分析(VCA),即自动分析和提取视频中的关键信息。因为监控智能化是非常吸引人的,犹如科幻大片中的神奇场景。
9、视频监控的发展方向
作者从事安防行业多年,根据自己的思考列出了以下发展方向:
- 开放性(行业统一标准)
- 智能化(VCA技术)
- 高清化
- 民用化(家庭式)
- 无线化
我是搞计算机视觉技术的,不太懂这些。但觉得这几点还是很有道理的,因为根据IT行业的历史经验来看,第一条的开放性是一个趋势。智能化不用说。高清化现在越来越普及。民用化趋势也是关键,之前北京红蓝黄幼儿园爆出的虐童事件,就有专家提出园区要架设全方位监控系统,而且国外似乎民用化进展较快。
转载自原文链接, 如需删除请联系管理员。
原文链接:一、视频监控技术概述,转载请注明来源!