伴隨著城(cheng)市化進程的(de)不(bu)斷(duan)加(jia)快和城(cheng)市經(jing)濟的(de)高(gao)速增長(chang),以及人們安全意識的(de)不(bu)斷(duan)提高(gao),對(dui)視(shi)頻監控的(de)需求越(yue)來越(yue)強烈(lie),其(qi)應用(yong)場(chang)景和使用(yong)環境也(ye)越(yue)來越(yue)豐(feng)富(fu)。不(bu)同(tong)的(de)場(chang)景需求對(dui)視(shi)頻監控技術提出了(le)更(geng)(geng)高(gao)更(geng)(geng)復雜的(de)要(yao)(yao)求,不(bu)僅僅要(yao)(yao)高(gao)清,更(geng)(geng)要(yao)(yao)智能。顯(xian)然已經(jing)從過去的(de)“看(kan)得見(jian)”、“看(kan)得清”到如今的(de)“更(geng)(geng)好看(kan)”、“更(geng)(geng)易看(kan)”。
“更好看”——對視頻圖像處理技術的更高要求
就像(xiang)(xiang)對手(shou)機拍照像(xiang)(xiang)素(su)需求(qiu)(qiu)(qiu)的(de)(de)與日俱(ju)(ju)增(zeng)一樣,人(ren)們現今(jin)已經很難(nan)再接(jie)受分辨率低(di)、噪聲大、動態范(fan)圍(wei)低(di)的(de)(de)視(shi)(shi)(shi)頻(pin)圖(tu)(tu)(tu)像(xiang)(xiang)了(le)。這不僅要(yao)求(qiu)(qiu)(qiu)安防(fang)企業在光學部件的(de)(de)選擇上不斷(duan)追求(qiu)(qiu)(qiu)更高的(de)(de)品(pin)質(zhi),在視(shi)(shi)(shi)頻(pin)圖(tu)(tu)(tu)像(xiang)(xiang)處理(li)(li)技(ji)術上更是不能落后。目前主(zhu)流的(de)(de)視(shi)(shi)(shi)頻(pin)圖(tu)(tu)(tu)像(xiang)(xiang)處理(li)(li)技(ji)術都在與時(shi)俱(ju)(ju)進,以滿足(zu)用戶不斷(duan)變化的(de)(de)需求(qiu)(qiu)(qiu),這里介(jie)紹一下當今(jin)比較(jiao)熱門(men)、比較(jiao)前沿的(de)(de)圖(tu)(tu)(tu)像(xiang)(xiang)處理(li)(li)技(ji)術的(de)(de)發展情況。
![](/res/201604/28/20160428_1614590_27-1_796886_140493_0.jpg)
低照技術示意圖
一、低照技術
這只是一個很籠統(tong)的(de)稱呼,對低(di)照(zhao)表(biao)(biao)現(xian)(xian)的(de)要(yao)求(qiu)是指在缺少光(guang)照(zhao)的(de)環(huan)境(jing)條(tiao)件下仍然能(neng)展(zhan)現(xian)(xian)出清晰明亮(liang)、色彩豐富、較低(di)噪(zao)聲的(de)視(shi)頻圖(tu)像(xiang),宇視(shi)星光(guang)級(ji)相機(ji)就(jiu)是在這種需求(qiu)下應運而生(sheng)的(de)。該(gai)技術(shu)不僅對傳(chuan)感器、鏡頭的(de)品質(zhi)有很高的(de)要(yao)求(qiu),還涵(han)蓋(gai)了ISP(圖(tu)像(xiang)信號處理)中的(de)夜(ye)間圖(tu)像(xiang)增強(qiang)、2D 降噪(zao)、3D 降噪(zao)等技術(shu), 同時如(ru)何權(quan)衡以(yi)(yi)上功能(neng),以(yi)(yi)得到最優質(zhi)的(de)畫面表(biao)(biao)現(xian)(xian),也是對ISP 調校技術(shu)的(de)考驗。
二、寬動態技術
寬動態(tai)技術可以分(fen)為(wei)數字寬動態(tai)和(he)多幀(zhen)寬動態(tai)兩種。數字寬動態(tai)是指,對單(dan)幀(zhen)圖(tu)像利(li)用(yong)色(se)調映(ying)射技術使得畫面的暗區和(he)亮區同(tong)時能(neng)夠看清,即增大圖(tu)像動態(tai)范(fan)圍(wei)。而(er)多幀(zhen)寬動態(tai)則是通(tong)過對同(tong)一(yi)場景獲取多幀(zhen)曝(pu)光(guang)程度不同(tong)的圖(tu)像,然后利(li)用(yong)圖(tu)像融合和(he)運動估計技術,將多幀(zhen)畫面合成一(yi)幅,以達(da)到同(tong)樣的目的。由于多幀(zhen)寬動態(tai)獲得的信息較單(dan)幀(zhen)多,因此通(tong)常情況下可以獲得更大的動態(tai)范(fan)圍(wei),和(he)更自然的視覺感觀。
![]() 數字寬動態處理前(左)和處理后對比 | ![]() 多幀寬動態處理前(左)和處理后對比 |
三、去模糊技術
品質再高清(qing)的相機(ji),也可能由于(yu)人(ren)為拍攝的原因或者被拍攝物(wu)體本(ben)身的運動而(er)導致模(mo)糊(hu)(hu)(hu),分為失焦模(mo)糊(hu)(hu)(hu)和(he)運動模(mo)糊(hu)(hu)(hu)兩種情況。模(mo)糊(hu)(hu)(hu)本(ben)身在數(shu)學(xue)上來說,是清(qing)晰圖像與擴(kuo)散(san)函數(shu)卷(juan)積的結果(guo),因此(ci)去模(mo)糊(hu)(hu)(hu)就是一個逆卷(juan)積的過程,失焦模(mo)糊(hu)(hu)(hu)和(he)運動模(mo)糊(hu)(hu)(hu)的主要(yao)差(cha)別是擴(kuo)散(san)函數(shu)形式上的差(cha)異(yi)。
![]() 失焦模糊處理前(左)和處理后對比 | ![]() 運動模糊處理前(左)和處理后對比 |
四、透霧增強技術
視頻圖像(xiang)透霧增強(qiang)技術,一般(ban)指將因(yin)霧氣(qi)(qi)、水氣(qi)(qi)和灰塵等導致畫面(mian)朦朧不清(qing)的(de)(de)(de)因(yin)素去除,使畫面(mian)重新變(bian)得清(qing)晰通透,恢復(fu)原有的(de)(de)(de)色調(diao)、飽和度(du),獲得了良好的(de)(de)(de)圖像(xiang)質(zhi)量與(yu)視覺(jue)感受。宇視的(de)(de)(de)透霧技術,已(yi)不再局限(xian)于(yu)簡單的(de)(de)(de)對比度(du)增強(qiang)而(er)已(yi),而(er)是(shi)通過對霧霾濃度(du)建(jian)模,獲得大氣(qi)(qi)分布情況,進(jin)而(er)有針(zhen)對性的(de)(de)(de)去除,保(bao)持畫面(mian)自然(ran),并且不會丟(diu)失任何(he)有用信息。
![](/res/201604/28/20160428_1614595_27-6_796886_140493_0.jpg)
基于大氣模型的透霧技術與對比度增強技術對比示意圖
另外值得(de)一提的是(shi),與利(li)用圖像處理算法進行透霧增強技術各有(you)所(suo)(suo)長的,還(huan)有(you)宇(yu)視的光(guang)(guang)學透霧技術。其原理主要是(shi)利(li)用近紅外波(bo)段(duan)對大氣的穿(chuan)透性要優于可(ke)見光(guang)(guang)波(bo)段(duan),因而(er)能(neng)在濃(nong)霧霾情況下,獲得(de)可(ke)見光(guang)(guang)圖像所(suo)(suo)獲取(qu)不到的信息。
![](/res/201604/28/20160428_1614596_27-7_796886_140493_0.jpg)
光學透霧處理前(左)和處理后對比
五、超分辨率重建技術
提(ti)高圖(tu)(tu)(tu)(tu)像(xiang)(xiang)分(fen)(fen)辨(bian)率(lv)(lv)最直接(jie)的(de)(de)(de)(de)辦法就是提(ti)高采集設備的(de)(de)(de)(de)傳感器(qi)密度,然而高密度的(de)(de)(de)(de)圖(tu)(tu)(tu)(tu)像(xiang)(xiang)傳感器(qi)價格相對昂貴,在一般(ban)的(de)(de)(de)(de)應用(yong)中難以承受,同(tong)時傳感器(qi)陣列(lie)密度目前(qian)也已接(jie)近極限。解決這一問題(ti)的(de)(de)(de)(de)有效途徑是采用(yong)基于(yu)信號處(chu)理的(de)(de)(de)(de)軟件方法對圖(tu)(tu)(tu)(tu)像(xiang)(xiang)的(de)(de)(de)(de)空(kong)間(jian)(jian)(jian)分(fen)(fen)辨(bian)率(lv)(lv)進(jin)行(xing)提(ti)高,超(chao)分(fen)(fen)辨(bian)率(lv)(lv)重(zhong)建(jian)技術可以分(fen)(fen)為單(dan)幀(zhen)(zhen)超(chao)分(fen)(fen)辨(bian)率(lv)(lv)重(zhong)建(jian)和(he)多(duo)幀(zhen)(zhen)超(chao)分(fen)(fen)辨(bian)率(lv)(lv)重(zhong)建(jian)。單(dan)幀(zhen)(zhen)超(chao)分(fen)(fen)辨(bian)率(lv)(lv)通常是利用(yong)學習的(de)(de)(de)(de)方法對低分(fen)(fen)辨(bian)率(lv)(lv)圖(tu)(tu)(tu)(tu)像(xiang)(xiang)進(jin)行(xing)恢復;多(duo)幀(zhen)(zhen)超(chao)分(fen)(fen)辨(bian)率(lv)(lv)的(de)(de)(de)(de)核心(xin)思(si)想是用(yong)時間(jian)(jian)(jian)帶寬(獲取同(tong)一場景的(de)(de)(de)(de)多(duo)幀(zhen)(zhen)圖(tu)(tu)(tu)(tu)像(xiang)(xiang)序(xu)列(lie))換取空(kong)間(jian)(jian)(jian)分(fen)(fen)辨(bian)率(lv)(lv),實現時間(jian)(jian)(jian)分(fen)(fen)辨(bian)率(lv)(lv)向空(kong)間(jian)(jian)(jian)分(fen)(fen)辨(bian)率(lv)(lv)的(de)(de)(de)(de)轉換。
“更易看”——減少使用者的工作量,智能必不可少
近幾年來隨著監(jian)(jian)控(kong)行業的(de)發展以及平安城市等大(da)型工(gong)(gong)程(cheng)的(de)建設, 成千上萬的(de)視(shi)頻(pin)圖像給廣大(da)工(gong)(gong)作(zuo)人員帶(dai)來無(wu)(wu)力(li)管理(li)和監(jian)(jian)看等問(wen)題(ti)。應用(yong)智能(neng)分(fen)析(xi)技術對視(shi)頻(pin)畫面中(zhong)的(de)海量數據(ju)進行高速分(fen)析(xi), 過濾掉用(yong)戶(hu)不關(guan)心(xin)的(de)信息, 僅僅為監(jian)(jian)控(kong)者提供有用(yong)的(de)關(guan)鍵(jian)信息, 從而(er)解決了視(shi)頻(pin)量大(da)工(gong)(gong)作(zuo)人員無(wu)(wu)力(li)監(jian)(jian)管等問(wen)題(ti), 因此受(shou)到越來越多的(de)關(guan)注。
目前國內智(zhi)能(neng)分析(xi)技術已經不再(zai)局(ju)限(xian)于檢測(ce)(ce)和識(shi)別,還逐漸發(fa)展為跟(gen)蹤(zong)預(yu)測(ce)(ce)、行(xing)(xing)(xing)為分析(xi)等(deng)眾多應(ying)用。檢測(ce)(ce)是指(zhi)通過(guo)前景提取等(deng)方法對(dui)畫面中(zhong)(zhong)物(wu)(wu)體(ti)的(de)(de)(de)移(yi)動(dong)(dong)進(jin)行(xing)(xing)(xing)檢測(ce)(ce),通過(guo)設(she)定(ding)規則來區(qu)分不同的(de)(de)(de)行(xing)(xing)(xing)為,例(li)(li)如(ru)拌線、周(zhou)界等(deng);識(shi)別是指(zhi)利用模(mo)式(shi)識(shi)別技術對(dui)畫面中(zhong)(zhong)所需要監控的(de)(de)(de)物(wu)(wu)體(ti)進(jin)行(xing)(xing)(xing)針對(dui)性的(de)(de)(de)建模(mo),從而達到對(dui)視(shi)頻(pin)中(zhong)(zhong)的(de)(de)(de)特(te)定(ding)物(wu)(wu)體(ti)進(jin)行(xing)(xing)(xing)檢測(ce)(ce)、識(shi)別、分類(lei)等(deng)相關應(ying)用,例(li)(li)如(ru)智(zhi)能(neng)檢測(ce)(ce)與(yu)識(shi)別、車型識(shi)別等(deng);跟(gen)蹤(zong)是指(zhi)對(dui)識(shi)別到的(de)(de)(de)特(te)定(ding)物(wu)(wu)體(ti)的(de)(de)(de)運動(dong)(dong)軌(gui)跡進(jin)行(xing)(xing)(xing)跟(gen)蹤(zong)預(yu)測(ce)(ce),在視(shi)頻(pin)圖像序(xu)列(lie)中(zhong)(zhong)表示感(gan)興(xing)趣(qu)的(de)(de)(de)物(wu)(wu)體(ti)或(huo)者將不同時間序(xu)列(lie)中(zhong)(zhong)出現的(de)(de)(de)物(wu)(wu)體(ti)濃縮進(jin)短(duan)(duan)短(duan)(duan)幾分鐘的(de)(de)(de)畫面,例(li)(li)如(ru)視(shi)頻(pin)濃縮、摘要等(deng);行(xing)(xing)(xing)為分析(xi)是指(zhi)對(dui)運動(dong)(dong)物(wu)(wu)體(ti)的(de)(de)(de)行(xing)(xing)(xing)為進(jin)行(xing)(xing)(xing)判(pan)斷(duan),并在使用者設(she)定(ding)的(de)(de)(de)條件下進(jin)行(xing)(xing)(xing)自動(dong)(dong)告警與(yu)記錄,如(ru)離崗(gang)、徘徊、打架斗毆以及(ji)表情分析(xi)等(deng)。
智(zhi)能處(chu)(chu)理(li)的壓力通常集中在性能上,如何(he)在有限的服(fu)務器資源上同時滿足更多(duo)路智(zhi)能分(fen)析的需(xu)求,是除(chu)了(le)算法效果以(yi)外開發(fa)者需(xu)要關注的另一個重要問題。目(mu)前(qian)越來越多(duo)的高(gao)速(su)處(chu)(chu)理(li)器得到普及,除(chu)了(le)DSP 以(yi)外,GPU 和(he)FPGA 的主流廠家如Intel、Nvidia、AMD、Altera 等(deng)紛紛推出基于OpenCL 平臺的通用計算開發(fa),宇視也(ye)基于GPU 和(he)FPGA 進行了(le)一系列(lie)的智(zhi)能分(fen)析算法的優化加速(su)。
GPU 與(yu)CPU 的(de)(de)差別(bie)在于(yu)更(geng)少(shao)的(de)(de)邏(luo)輯控(kong)制單(dan)元(yuan)和(he)更(geng)多的(de)(de)算術(shu)運(yun)算單(dan)元(yuan)。由(you)于(yu)GPU在邏(luo)輯判斷(duan)方面(mian)的(de)(de)弱(ruo)勢,導致其通常不會用作主控(kong)芯片,而(er)是與(yu)CPU 配合使用,處理大量數據(ju)計(ji)算問題。而(er)針(zhen)對數據(ju)交(jiao)互的(de)(de)瓶頸問題, 各(ge)大廠家也各(ge)自開發出(chu)unifymemor y 等解決方案(an),減少(shao)數據(ju)拷貝(bei)。
![](/res/201604/28/20160428_1614598_27-9_796886_140493_0.jpg)
GPU 與CPU 資源對比
按應用類型可以分:
控制密(mi)集(ji)型(Control Int ensive),例如searching、parsing 等(deng)等(deng),適合于CPU 的(de)任務并(bing)行處(chu)理。數(shu)據密(mi)集(ji)型(Data Intensive),例如圖像處(chu)理、數(shu)據挖(wa)掘等(deng)等(deng),適合于GPU 的(de)數(shu)據并(bing)行處(chu)理。
計算密集型(Compute Int ensive),例如迭代(dai)操作、金融建模等等, 適合于FPGA 的流水線并行處理。
GPU 的(de)(de)(de)(de)(de)單(dan)指(zhi)令(ling)(ling)多數據(ju)并行(xing)(SIMDParallelism)工作(zuo)方式(shi)和FPGA 的(de)(de)(de)(de)(de)流水線并行(xing)(Pipeline Parallelism) 工作(zuo)方式(shi)對比如下(xia)圖10 所示。GPU 是硬(ying)件(jian)固定(ding)的(de)(de)(de)(de)(de)(fixed hardware), 同(tong)一(yi)個(ge)處理(li)單(dan)元在(zai)每(mei)個(ge)時(shi)(shi)鐘周(zhou)期(qi)可以加載不(bu)同(tong)的(de)(de)(de)(de)(de)指(zhi)令(ling)(ling),但是在(zai)每(mei)個(ge)時(shi)(shi)鐘周(zhou)期(qi)都是處理(li)的(de)(de)(de)(de)(de)同(tong)一(yi)條指(zhi)令(ling)(ling),并且無(wu)論處理(li)何種指(zhi)令(ling)(ling),都必然占用一(yi)整個(ge)流處理(li)器(qi)的(de)(de)(de)(de)(de)資源(包括指(zhi)令(ling)(ling)發射器(qi)、寄存器(qi)等);而(er)FPGA 相當于是指(zhi)令(ling)(ling)固定(ding)的(de)(de)(de)(de)(de)(fixed instructions),每(mei)個(ge)時(shi)(shi)鐘周(zhou)期(qi)數據(ju)流水似的(de)(de)(de)(de)(de)經過(guo)不(bu)同(tong)的(de)(de)(de)(de)(de)處理(li),這在(zai)運(yun)行(xing)過(guo)程(cheng)中不(bu)會(hui)發生變化,而(er)不(bu)同(tong)的(de)(de)(de)(de)(de)操(cao)作(zuo)會(hui)消耗不(bu)同(tong)的(de)(de)(de)(de)(de)資源,這在(zai)關(guan)注Performance PerWatt 時(shi)(shi)可能會(hui)有更(geng)好的(de)(de)(de)(de)(de)表現。
另外(wai)一(yi)(yi)個重要的差(cha)別是遇到分(fen)(fen)支時(shi)(shi),盡管GPU 和(he)FPGA 都不像CPU 那樣善于處(chu)理分(fen)(fen)支,它們(men)會把分(fen)(fen)支都進(jin)行處(chu)理,但二者的做(zuo)法也很不一(yi)(yi)樣。GPU 由于為單指(zhi)令多數據操作(zuo),只能通過時(shi)(shi)間上的“堆(dui)疊”,一(yi)(yi)條分(fen)(fen)支一(yi)(yi)條分(fen)(fen)支的處(chu)理,這種情況下GPU 的效率明顯降低; 而FPGA 可(ke)以(yi)通過硬件的“堆(dui)疊”來同時(shi)(shi)處(chu)理多個分(fen)(fen)支,當(dang)然需(xu)要以(yi)犧牲(sheng)資源為代價,如(ru)下圖11 所示。
![]() SIMD 并行與流水線并行對比 | ![]() SIMD 并行和流水線并行分支行為的對比 |
總結——展望:萬物聯網
視(shi)頻圖像處理技術(shu)未(wei)來的發展趨勢,絕對不僅僅是局限在技術(shu)本身而已。如何與其他技術(shu)結合(he)、融合(he),來創造出更(geng)靈(ling)活、更(geng)人性化的應用,適應物聯網浪(lang)潮(chao)的發展,才是未(wei)來值得關注的方向。