從20世紀90年代開始(shi),美國VSAM 項目中進行(xing)視(shi)(shi)頻(pin)監控(kong)(kong)的(de)數據化(hua)研究以(yi)來,視(shi)(shi)頻(pin)監控(kong)(kong)的(de)智(zhi)能化(hua)經過了20多(duo)年的(de)發展(zhan),智(zhi)能分析(xi)技(ji)術也(ye)從傳統(tong)的(de)模式識(shi)別,到(dao)機器學習,再到(dao)現在家喻戶曉的(de)深度學習,經歷多(duo)個階(jie)段的(de)發展(zhan)。而當前深度學習逐漸(jian)成熟(shu),讓很多(duo)曾經未達實用階(jie)段的(de)應用逐漸(jian)具(ju)備了可用性(xing),典型(xing)如(ru)智(zhi)能識(shi)別、高密度人員(yuan)統(tong)計;也(ye)讓很多(duo)已經成熟(shu)的(de)應用具(ju)有(you)更高的(de)準確度,如(ru)車(che)牌、車(che)型(xing)識(shi)別、行(xing)為(wei)識(shi)別等等。
行業應用現狀
國(guo)內的(de)(de)(de)視(shi)頻(pin)(pin)(pin)監(jian)(jian)控從2006前后(hou)開始“安防IT 化”以(yi)來,視(shi)頻(pin)(pin)(pin)監(jian)(jian)控的(de)(de)(de)規(gui)模(mo)呈現了快速擴展的(de)(de)(de)勢頭(tou),這在模(mo)擬(ni)時代是無(wu)法想象的(de)(de)(de)。視(shi)頻(pin)(pin)(pin)監(jian)(jian)控規(gui)模(mo)的(de)(de)(de)擴大(da),已經讓使用(yong)者意識(shi)到單(dan)靠人(ren)眼(yan)去監(jian)(jian)控所有視(shi)頻(pin)(pin)(pin)或者在事(shi)后(hou)去追查錄像都(dou)是基本不(bu)可能的(de)(de)(de)事(shi)情了。2009 ~ 2010年國(guo)內視(shi)頻(pin)(pin)(pin)監(jian)(jian)控發展較好(hao)(hao)的(de)(de)(de)地區如(ru)(ru)浙江,就(jiu)開始出現了如(ru)(ru)何(he)更好(hao)(hao)地應用(yong)視(shi)頻(pin)(pin)(pin)的(de)(de)(de)需求聲音(yin)。
長期(qi)從事智慧(hui)城市建設、自(zi)動化(hua)監控研究的(de)(de)(de)王汝琳教授(shou)就提(ti)出(chu),當(dang)時的(de)(de)(de)視頻監控業(ye)界(jie)存在(zai)“看不清、調不出(chu)、提(ti)取(qu)難、檢索慢”的(de)(de)(de)問(wen)題,對(dui)應(ying)的(de)(de)(de)也就出(chu)現了三大趨勢——網絡化(hua)、高清化(hua)、智能化(hua)。
從2010年前后(hou)起(qi),智能(neng)分析已(yi)經(jing)在慢慢應用到監(jian)控(kong)和(he)智能(neng)交通的(de)行業(ye)中來,其中最早形成規(gui)模應用的(de)是車(che)牌識別的(de)功能(neng),到2013年非現(xian)場執法設(she)備(bei)在全國就在如(ru)火如(ru)荼地展開,三大監(jian)控(kong)巨頭在那(nei)個時候大力切入(ru)到智能(neng)交通行業(ye),導致了(le)這個行業(ye)的(de)洗(xi)牌。
近年來,智(zhi)能的(de)應用快速擴展到很(hen)多方(fang)面,如人(ren)的(de)行為(wei)識(shi)別(bie)、車輛的(de)異常行為(wei)檢(jian)測、儀(yi)表(biao)識(shi)別(bie)、智(zhi)能識(shi)別(bie)、車臉識(shi)別(bie),還(huan)有通用監控視頻的(de)結構化分(fen)(fen)析等,大有遍地花開(kai)之勢(shi)。其中,智(zhi)能識(shi)別(bie)和視頻的(de)結構化分(fen)(fen)析是2017年以(yi)來特別(bie)火的(de)業務,發(fa)展也最(zui)快。
視頻分析的本質目標
視頻(pin)(pin)(pin)分析的(de)(de)(de)本質目標,就是視頻(pin)(pin)(pin)的(de)(de)(de)語義化,使視頻(pin)(pin)(pin)更(geng)好被檢索到,被精確(que)調閱到,解(jie)決人眼(yan)長期看視頻(pin)(pin)(pin)產(chan)生“熟(shu)視無睹”的(de)(de)(de)問(wen)題,也(ye)解(jie)決發生案件時(shi)要花上百人進行錄像查(cha)閱的(de)(de)(de)問(wen)題。
軟件智能分析與硬件智能分析優劣勢分析
引用鄧(deng)小(xiao)平語錄“不管白貓(mao)黑貓(mao),抓得住老鼠就(jiu)是好貓(mao)”,軟件(jian)(jian)智(zhi)能(neng)分析(xi)(xi)(xi)和硬件(jian)(jian)智(zhi)能(neng)分析(xi)(xi)(xi)只是分工不同(tong)的貓(mao),他(ta)們(men)都有(you)(you)擅長的一面,也都有(you)(you)自己(ji)的劣勢。用一句(ju)話來概括(kuo),他(ta)們(men)的區別(bie)就(jiu)是“軟件(jian)(jian)智(zhi)能(neng)貴(gui)在適應性和廣度、硬件(jian)(jian)智(zhi)能(neng)分析(xi)(xi)(xi)貴(gui)在分析(xi)(xi)(xi)的速度”。
軟件智能分析
用CPU 進行運算的智能分析方案,其優勢在于適應性強,具體體現在:
1)對各種數據源的適配性高,在安防行業中數據源基本為視頻和圖片,但是這些數據的來源可謂五花八門,尤其早期的設備廠家非常多,對接方式和編碼格式都不標準,只有通過軟件對接來完成前期工作,才能給智能分析提供原始材料;
2)新的算法出來時,基本都是在軟件上實現的,因為在軟件上編碼實現最容易,很少有算法一開始出來就能運行于智能分析硬件;
3)軟件(jian)智能分析(xi)(xi)可以運行在很多(duo)通用服務器和PC 機上,不需要配備特殊的硬(ying)件(jian)就(jiu)能運行,而硬(ying)件(jian)智能分析(xi)(xi)就(jiu)不一樣了。
當然軟件智能(neng)(neng)分(fen)析的主要(yao)缺點(dian)就在(zai)于分(fen)析性能(neng)(neng)差。
硬件智能分析
一般(ban)指(zhi)運行在DSP、FPGA 以及GPU 資(zi)源上的(de)智(zhi)(zhi)能分析(xi)應用。其優點就(jiu)是(shi)一個字“快”,一旦一種(zhong)智(zhi)(zhi)能算法有了能支(zhi)撐它的(de)硬(ying)件(jian)資(zi)源后(hou),一般(ban)就(jiu)能把軟件(jian)分析(xi)的(de)處理(li)能力甩開幾條街。但是(shi)相(xiang)對(dui)的(de),它的(de)局(ju)限(xian)也就(jiu)是(shi)軟件(jian)智(zhi)(zhi)能的(de)優勢所在。
但是現在(zai),軟件智(zhi)能(neng)(neng)分(fen)析和硬件智(zhi)能(neng)(neng)分(fen)析沒有那么嚴格的(de)(de)(de)區(qu)分(fen),很(hen)多新的(de)(de)(de)算法經過軟件方案一定段時(shi)間驗證(zheng)后(hou),如果存在(zai)較大的(de)(de)(de)可用(yong)性,慢(man)慢(man)就(jiu)會走上硬件化(hua)的(de)(de)(de)道路。近幾(ji)年(nian)炙手可熱的(de)(de)(de)深度學習的(de)(de)(de)計算量基本(ben)上只有在(zai)GPU 上才能(neng)(neng)跑起來(lai)。因此流行的(de)(de)(de)是通過CPU做(zuo)適配和前期處(chu)理,GPU 來(lai)做(zuo)智(zhi)能(neng)(neng)運算,也(ye)就(jiu)是Intel CPU + NVIDIA GPU 的(de)(de)(de)組(zu)合,而(er)且這個組(zu)合的(de)(de)(de)處(chu)理性能(neng)(neng)也(ye)確實(shi)非常強勁。
◆ 前端智能分析與后端智能分析的對比前端智能分析與后端智能分析的關系,也類似于上面的軟硬件智能分析一樣,都是相輔相成,互為補充。
◆ 前端智能分析
![](/res/201708/11/20170811_1619190_37-1_799936_140493_0.jpg)
圖:前端智能分析
在攝像機(ji)等內置(zhi)(zhi)傳(chuan)感(gan)器(qi),或者在傳(chuan)感(gan)器(qi)附近(jin)放置(zhi)(zhi)一個專門分(fen)析(xi)的(de)前(qian)置(zhi)(zhi)設備(bei)。前(qian)端(duan)智(zhi)能(neng)分(fen)析(xi)的(de)優勢(shi)是離采集端(duan)近(jin),分(fen)析(xi)比較(jiao)及時,通(tong)過前(qian)置(zhi)(zhi)的(de)智(zhi)能(neng)分(fen)析(xi)可以(yi)有效降低需要傳(chuan)輸的(de)數(shu)據的(de)量(liang)。同時前(qian)端(duan)智(zhi)能(neng)也受限(xian)于較(jiao)弱的(de)計算(suan)資(zi)源和有限(xian)的(de)空間,再好(hao)的(de)智(zhi)能(neng)分(fen)析(xi)技術到前(qian)端(duan)也都是“龍居淺潭”。前(qian)端(duan)智(zhi)能(neng)中最成熟的(de)就是車(che)牌識(shi)別功能(neng)了,現(xian)在前(qian)端(duan)設備(bei)上(shang)車(che)牌識(shi)別的(de)準(zhun)度(du)已經達到99%。
◆ 后端智能分析
![](/res/201708/11/20170811_1619190_37-1_799936_140493_0.jpg)
用(yong)后(hou)端服(fu)務(wu)器的方(fang)案進行智能(neng)(neng)分析(xi),也是當前比較(jiao)主流的智能(neng)(neng)分析(xi)方(fang)案,業界的代表有宇視(shi)IA系列、海康的獵(lie)鷹等。
由于智(zhi)能的需(xu)求越來越大,智(zhi)能需(xu)求的種類也越來越多(duo),各(ge)種智(zhi)能服務器會(hui)慢慢占領客戶(hu)的機房;因此如(ru)何綜合利用這(zhe)些服務器資源,如(ru)何提升單位空間(jian)的計算能力(li)是眾多(duo)廠家關注和(he)研(yan)究的方向,從(cong)當前(qian)來看(kan)主(zhu)要(yao)的方向是:硬件(jian)化、框架化、集群化。
![](/res/201708/11/20170811_1619191_37-2_799936_140493_0.jpg)
硬(ying)件(jian)化,智(zhi)(zhi)(zhi)能分(fen)(fen)析(xi)的(de)(de)硬(ying)件(jian)化是(shi)(shi)一些智(zhi)(zhi)(zhi)能分(fen)(fen)析(xi)技(ji)術逐(zhu)漸成熟(shu)的(de)(de)必然方向,現(xian)(xian)在(zai)的(de)(de)深(shen)(shen)度(du)學(xue)習經過幾(ji)年(nian)的(de)(de)發(fa)展已經表(biao)現(xian)(xian)出(chu)了強勁的(de)(de)發(fa)展前景,而且智(zhi)(zhi)(zhi)能硬(ying)件(jian)只要能很好地承(cheng)載深(shen)(shen)度(du)學(xue)習的(de)(de)計算需求,就(jiu)能應對絕大部分(fen)(fen)基于深(shen)(shen)度(du)學(xue)習發(fa)展起(qi)來的(de)(de)具(ju)體智(zhi)(zhi)(zhi)能分(fen)(fen)析(xi)技(ji)術,比如現(xian)(xian)在(zai)一個很典(dian)型的(de)(de)應用(yong)就(jiu)是(shi)(shi)智(zhi)(zhi)(zhi)能識別(bie)的(de)(de)應用(yong),用(yong)了GPU 之(zhi)后,性(xing)能可(ke)以翻很多倍(bei)。
框架化,因為智(zhi)能(neng)算(suan)法越(yue)來(lai)越(yue)多,如(ru)果為每一(yi)款智(zhi)能(neng)算(suan)法單獨開(kai)發(fa)一(yi)次軟件,那軟件工作就存在很(hen)多浪費(fei)。如(ru)何能(neng)夠開(kai)發(fa)一(yi)次軟件,然后盡(jin)量多地去適配各種(zhong)算(suan)法對廠家和客戶來(lai)說都(dou)是比較有(you)意義的(de)事情(qing)。
集群化,既然智能分(fen)析的(de)(de)需求越(yue)來越(yue)大,那么這些服務器如何(he)統(tong)一(yi)(yi)管理(li)(li),如何(he)統(tong)一(yi)(yi)進行(xing)資(zi)源(yuan)分(fen)配又是一(yi)(yi)個比(bi)較棘手的(de)(de)事情,總不(bu)能讓客戶(hu)(hu)自(zi)己(ji)一(yi)(yi)臺一(yi)(yi)臺服務器去做(zuo)配置,一(yi)(yi)臺一(yi)(yi)臺去做(zuo)管理(li)(li)吧?!集群化的(de)(de)需求就應運而生,它(ta)需要解決(jue)(jue)(jue)的(de)(de)問題有:統(tong)一(yi)(yi)管理(li)(li)各(ge)個服務器,進行(xing)統(tong)一(yi)(yi)的(de)(de)配置;動態解決(jue)(jue)(jue)各(ge)個服務器的(de)(de)資(zi)源(yuan)和任務分(fen)配問題,避免客戶(hu)(hu)自(zi)行(xing)去選擇服務器;解決(jue)(jue)(jue)設備的(de)(de)災備問題,在有多臺設備時,不(bu)會因一(yi)(yi)臺設備的(de)(de)失效而導(dao)致它(ta)所負責的(de)(de)業務不(bu)可運行(xing)。
除(chu)了專門(men)的(de)(de)(de)(de)智能服務器,現在有很多的(de)(de)(de)(de)后端產(chan)品也開始內置簡單的(de)(de)(de)(de)智能功能了,比如很多新的(de)(de)(de)(de)NVR 已(yi)經具備(bei)了不少(shao)的(de)(de)(de)(de)智能分析能力,在小(xiao)規模的(de)(de)(de)(de)方(fang)案里這種產(chan)品形態(tai)將(jiang)越來越有市(shi)場(chang)。
前后端融合計算
同軟硬件智能分(fen)析的方案,前后端的智能分(fen)析也不(bu)(bu)是(shi)完(wan)全割裂和(he)互(hu)斥的,兩者(zhe)都(dou)是(shi)“抓得住老鼠(shu)”的好(hao)貓(mao),但是(shi)如何把他(ta)們合(he)在一(yi)起適當分(fen)工(gong),是(shi)不(bu)(bu)是(shi)能夠成(cheng)為更強大、更高效的貓(mao)呢?答案是(shi)肯定(ding)的。
前端(duan)是(shi)(shi)存在計算性能(neng)(neng)上的(de)(de)不足,存在空間上的(de)(de)拘束(shu),但(dan)是(shi)(shi)還是(shi)(shi)能(neng)(neng)承擔一(yi)些分(fen)(fen)析(xi)工作(zuo)的(de)(de),而(er)且最(zui)重要的(de)(de)是(shi)(shi)它保有量大(da),每臺(tai)做(zuo)一(yi)點(dian)基(ji)礎的(de)(de)分(fen)(fen)析(xi)工作(zuo),后(hou)(hou)臺(tai)再在這些分(fen)(fen)析(xi)的(de)(de)成果基(ji)礎上做(zuo)進一(yi)步的(de)(de)分(fen)(fen)析(xi),將能(neng)(neng)大(da)大(da)降低(di)后(hou)(hou)端(duan)服(fu)務(wu)器的(de)(de)工作(zuo)壓力。典型如(ru)現在的(de)(de)人物智能(neng)(neng)分(fen)(fen)析(xi)方(fang)(fang)案中,如(ru)果采用(yong)(yong)后(hou)(hou)端(duan)引前端(duan)實況(kuang)流分(fen)(fen)析(xi)的(de)(de)方(fang)(fang)案,一(yi)臺(tai)E5 的(de)(de)服(fu)務(wu)器能(neng)(neng)做(zuo)到4 ~ 5 路已經很高(gao)了;但(dan)是(shi)(shi)同樣的(de)(de)服(fu)務(wu)器如(ru)果用(yong)(yong)前后(hou)(hou)端(duan)融合的(de)(de)方(fang)(fang)案,前端(duan)負責人物的(de)(de)跟蹤(zong)和抓拍,后(hou)(hou)端(duan)負責分(fen)(fen)析(xi),一(yi)臺(tai)服(fu)務(wu)器就能(neng)(neng)做(zuo)到24 路甚至更(geng)高(gao),這就能(neng)(neng)大(da)大(da)降低(di)用(yong)(yong)戶(hu)的(de)(de)部署成本。
當前,阻擋前后端(duan)(duan)方(fang)案融(rong)合的(de)最大障礙是標準的(de)問(wen)題,各(ge)個廠(chang)(chang)家都(dou)是按照(zhao)自己的(de)理(li)解定(ding)義(yi)接(jie)口,定(ding)義(yi)邊界,廠(chang)(chang)家之間(jian)互通的(de)唯(wei)一方(fang)式就是對接(jie)開發。因此,現在如果涉(she)及到跨廠(chang)(chang)家的(de)智能分析,都(dou)更多采用純后端(duan)(duan)或者(zhe)純前端(duan)(duan)的(de)方(fang)案,這是智能發展需要解決的(de)重要問(wen)題。
智能分析在智能中的應用
前文(wen)多次提到過,智能分(fen)析功能在智能交通行業(ye)的(de)(de)應(ying)用(yong)(yong)是(shi)最成熟(shu)的(de)(de),其中最重要的(de)(de)啟動點是(shi)車牌(pai)識別(bie)的(de)(de)識別(bie)率達到了應(ying)用(yong)(yong)的(de)(de)要求,以及在此基礎之上(shang)形成的(de)(de)非(fei)現場執法設備和其他(ta)各種解決方案(an),在這里簡單介紹一(yi)下:
1. 非現場執法設備
車牌識(shi)別、紅(hong)綠燈口(kou)車輛跟蹤和抓(zhua)(zhua)拍等技(ji)術形成的(de)(de)(de)非(fei)現場執(zhi)法(fa)(fa)設備,極大提升了(le)交警的(de)(de)(de)交通管理能力,讓交通違法(fa)(fa)抓(zhua)(zhua)獲(huo)由一(yi)個概率(lv)事件變成了(le)必然事件,一(yi)舉解(jie)決(jue)了(le)2012 年(nian)前需要雇(gu)一(yi)堆小姑娘進(jin)行(xing)闖紅(hong)燈抓(zhua)(zhua)拍識(shi)別而(er)且還(huan)抓(zhua)(zhua)不全的(de)(de)(de)問題(ti)。近兩年(nian)隨著技(ji)術的(de)(de)(de)成熟,虛擬線圈替代了(le)地感線圈,又降低(di)了(le)電警的(de)(de)(de)施工難(nan)度(du)和安裝成本,使得非(fei)現場執(zhi)法(fa)(fa)設備的(de)(de)(de)覆(fu)蓋(gai)面越來越廣;
2. 電子卡口
在(zai)非現場(chang)執(zhi)法設備中嘗到智能(neng)分析(xi)甜(tian)頭的用戶,在(zai)開始進(jin)一步考(kao)慮城市車輛的監控和管理,因此(ci)電子卡(ka)口的業(ye)(ye)務就產(chan)生(sheng)(sheng)了,記錄車輛的行(xing)(xing)進(jin)軌跡(ji),根據行(xing)(xing)進(jin)軌跡(ji)進(jin)行(xing)(xing)車輛異常行(xing)(xing)為的分析(xi),對(dui)接車管庫進(jin)行(xing)(xing)車輛的核查等各種業(ye)(ye)務都開始落地。隨著技(ji)術的成熟,和開車犯案(an)的案(an)例增多(duo),相關(guan)部門也開始介入到卡(ka)口業(ye)(ye)務的建設,希望通(tong)過對(dui)車輛的排查進(jin)行(xing)(xing)案(an)件(jian)偵破(po)的技(ji)戰術開始提出(chu)來(lai),并產(chan)生(sheng)(sheng)了諸多(duo)成果;
3. 交通綜合管控
隨著上(shang)述技術的成(cheng)熟,交警(jing)希望把道(dao)路上(shang)的各種(zhong)資源(yuan)統一調度(du)起(qi)來(lai)(lai),根據車流量情況和道(dao)路狀況自動進行紅綠燈的調配,以(yi)及其他道(dao)路疏(shu)導提示系統的調度(du),交通綜合管控平(ping)臺(tai)(tai)的成(cheng)熟將對交警(jing)行業產生又一次重大的影響。其后(hou),只要源(yuan)源(yuan)不(bu)斷地將新成(cheng)熟的智能算(suan)法、大數據分析算(suan)法納入到(dao)這個平(ping)臺(tai)(tai)中,這個平(ping)臺(tai)(tai)就能具備(bei)越來(lai)(lai)越強的管理能力。
在智(zhi)能(neng)(neng)交通中,還有其(qi)他很多的(de)智(zhi)能(neng)(neng)技術在逐漸成熟,包括(kuo)車輛的(de)異常行為檢(jian)測、車型(xing)車款識別等等,這些都將(jiang)助(zhu)推(tui)智(zhi)能(neng)(neng)交通行業的(de)快速發展(zhan)。