維基百科全書(shu)的(de)定義:“大數(shu)(shu)據(ju)是(shi)飛(fei)速增(zeng)(zeng)長的(de),用現(xian)有數(shu)(shu)據(ju)庫(ku)管理工具難以(yi)管理的(de)數(shu)(shu)據(ju)集合”。這些數(shu)(shu)據(ju)包括:社交媒體、移動設備、科學計算和城市中(zhong)(zhong)部(bu)署的(de)各類傳(chuan)感器(qi)等(deng)等(deng),其中(zhong)(zhong)視(shi)(shi)(shi)頻(pin)又是(shi)構(gou)成數(shu)(shu)據(ju)體量最大的(de)一部(bu)分。據(ju)IMS Research 統計,根據(ju)IHS 2014 視(shi)(shi)(shi)頻(pin)監(jian)控(kong)(kong)(kong)市場報告(gao),未來五年(nian)全球監(jian)控(kong)(kong)(kong)攝像機將保持22% 的(de)復合增(zeng)(zeng)長,前端產生的(de)視(shi)(shi)(shi)頻(pin)監(jian)控(kong)(kong)(kong)數(shu)(shu)據(ju)將更為龐大,在視(shi)(shi)(shi)頻(pin)監(jian)控(kong)(kong)(kong)大聯網、高清化推動下,視(shi)(shi)(shi)頻(pin)監(jian)控(kong)(kong)(kong)業務步(bu)入(ru)數(shu)(shu)據(ju)洪(hong)水時(shi)代不可避免。
云存儲是炙(zhi)手可(ke)熱的(de)(de)(de)“大(da)數(shu)(shu)據(ju)(ju)”中組(zu)成之一:存儲單元模塊。“大(da)數(shu)(shu)據(ju)(ju)”中提及(ji)富媒(mei)體資源指(zhi)的(de)(de)(de)就(jiu)是視(shi)頻(pin)監控(kong)業務產生的(de)(de)(de)大(da)量(liang)數(shu)(shu)據(ju)(ju),占比(bi)巨(ju)大(da)的(de)(de)(de)富媒(mei)體信(xin)息(xi)(xi)中的(de)(de)(de)載體為(wei)(wei)存儲設備(bei)和(he)云存儲解決(jue)方(fang)案。存儲設備(bei)或云存儲解決(jue)方(fang)案作為(wei)(wei)視(shi)頻(pin)監控(kong)里(li)中結(jie)構化(hua)(hua)和(he)非結(jie)構化(hua)(hua)數(shu)(shu)據(ju)(ju)的(de)(de)(de)載體,橫跨基(ji)礎架(jia)構、內(nei)容信(xin)息(xi)(xi)三個維度的(de)(de)(de)信(xin)息(xi)(xi)化(hua)(hua)建設的(de)(de)(de)基(ji)礎。如果將“富”媒(mei)體中的(de)(de)(de)視(shi)頻(pin)信(xin)息(xi)(xi),從底(di)層的(de)(de)(de)動態(tai)存儲到以事(shi)件或物理為(wei)(wei)索引的(de)(de)(de)信(xin)息(xi)(xi)分析(xi),再到將海量(liang)的(de)(de)(de)非結(jie)構化(hua)(hua)數(shu)(shu)據(ju)(ju)轉化(hua)(hua)成信(xin)息(xi)(xi)和(he)洞(dong)察(cha)力,做(zuo)到真(zhen)正的(de)(de)(de)“為(wei)(wei)人所用”,才是大(da)數(shu)(shu)據(ju)(ju)的(de)(de)(de)真(zhen)正魅力所在。
云監(jian)控以標準化(hua)、模塊化(hua)、“即插即用(yong)(yong)”的(de)(de)一(yi)體化(hua)交(jiao)(jiao)付(fu)方(fang)式及無限的(de)(de)擴展性,為構建面向云的(de)(de)監(jian)控管理模式提供了全新的(de)(de)解決方(fang)案。作為業(ye)界(jie)唯(wei)一(yi)一(yi)家已經(jing)將監(jian)控云技術覆蓋并廣泛應(ying)用(yong)(yong)于政府、企業(ye)園(yuan)區(qu)、智(zhi)能交(jiao)(jiao)通、地鐵、校園(yuan)、高(gao)端智(zhi)能建筑等各(ge)個(ge)領(ling)域的(de)(de)解決方(fang)案供應(ying)商,宇視第三代“CDS 云直存(cun)”有效解決同質(zhi)化(hua)的(de)(de)低價雞肋和差異(yi)化(hua)的(de)(de)需求陷(xian)阱,使得(de)用(yong)(yong)戶的(de)(de)TCO 總擁有成(cheng)本、應(ying)用(yong)(yong)效率(lv)和可靠性最佳。
大數據業務特征分析
監控里的視頻錄像數據的讀寫模式從前端IPC 或編解碼器的寫入模式及整體方案的規劃和維護都大大的不同于普通的數據存儲模式。
主要有如下特征:
■恒定碼流的高并發寫入
■存儲空間的提前規劃
■錄像視頻的生命周期管理
目前絕大多數的系統都是采用文件系統的方式進行音視頻數據的存儲。文件系統有幾個最大的問題:
■存儲設備管理接口不統一
■存儲資源的管理及分配制度
■以文件系統為核心的數據存儲方式
■文件系統易損壞,寫文件會導致文件系統元數據區的頻繁持續更新,因此文件系統的元數據區很容易損壞,導致文件系統不可用。
■性(xing)能問題(ti):文件(jian)系統(tong)經IO 過操作系統(tong)的(de)(de)(de)(de)封裝,在(zai)數(shu)(shu)據長(chang)時(shi)期持續(xu)寫(xie)入的(de)(de)(de)(de)情況(kuang)下(xia),開銷要大于直(zhi)接裸盤寫(xie)入,降低(di)性(xing)能。在(zai)磁(ci)盤上存在(zai)大量(liang)錄(lu)像(xiang)文件(jian)時(shi),系統(tong)的(de)(de)(de)(de)錄(lu)像(xiang)檢(jian)索效率會下(xia)降很多。另(ling)外,磁(ci)盤上的(de)(de)(de)(de)大量(liang)文件(jian)在(zai)多次刪(shan)除重建后,數(shu)(shu)據在(zai)物理磁(ci)盤上的(de)(de)(de)(de)位(wei)置(zhi)將(jiang)變成(cheng)不連續(xu),導致數(shu)(shu)據寫(xie)入的(de)(de)(de)(de)隨機性(xing)加大,從而(er)降低(di)錄(lu)像(xiang)數(shu)(shu)據的(de)(de)(de)(de)寫(xie)入性(xing)能。
云存儲的技術特點
1 統一管理管理
■即插即用
云存儲解決方案實現了無縫的將視頻處理技術和存儲設備無縫的融合,實現了對存儲資源進行集中管理,動態的為攝像機分配存儲資源。實現了云的最大特點:即插即用。
云(yun)存儲(chu)的數據管(guan)理(li)模塊能自動識(shi)別新加入的設備信息,不僅實現(xian)了對存儲(chu)資(zi)源的整合和集(ji)中(zhong)管(guan)理(li),并(bing)在系統的運行(xing)(xing)過程(cheng)中(zhong),通(tong)過巡(xun)檢(jian)機制來實時(shi)監控各存儲(chu)設備的存儲(chu)資(zi)源狀態,在發現(xian)故(gu)障時(shi)及時(shi)上報給中(zhong)心的視頻管(guan)理(li)服務器進(jin)行(xing)(xing)處理(li)。
■按需分配
試想將一個大型視頻監控系統中部署的上萬個攝像機的音視頻數據都存儲起來,將會占用非常大的存儲空間,增加系統成本。
事實(shi)上,并非(fei)所有的視頻數據都(dou)需要全(quan)天24 小(xiao)時存(cun)儲,可以根(gen)據實(shi)際情況有選擇的不同的存(cun)儲策(ce)略進行存(cun)儲。監控云(yun)存(cun)儲解決方案完美的解決了用(yong)戶(hu)的顧慮,根(gen)據用(yong)戶(hu)的現(xian)有環境和存(cun)儲策(ce)略,實(shi)現(xian)每個前端的 按需分配。
■自動擴容
監控CDS 云存儲解決方案實現了存儲的自動擴容功能。
當IPSAN 設備注冊(ce)到數(shu)據(ju)(ju)管理(li)模(mo)塊后,數(shu)據(ju)(ju)管理(li)模(mo)塊自(zi)(zi)動(dong)(dong)獲取存(cun)儲(chu)設備的(de)(de)各(ge)(ge)項信(xin)息,并把這些資(zi)源(yuan)(yuan)整合成(cheng)一個大的(de)(de)存(cun)儲(chu)資(zi)源(yuan)(yuan)池(chi),制訂存(cun)儲(chu)策略(lve)時根據(ju)(ju)最優策略(lve)為(wei)攝像(xiang)機動(dong)(dong)態(tai)分(fen)配資(zi)源(yuan)(yuan),以充(chong)分(fen)利(li)用各(ge)(ge)存(cun)儲(chu)設備的(de)(de)存(cun)儲(chu)資(zi)源(yuan)(yuan)。動(dong)(dong)態(tai)的(de)(de)為(wei)攝像(xiang)機分(fen)配存(cun)儲(chu)資(zi)源(yuan)(yuan),提高資(zi)源(yuan)(yuan)利(li)用率(lv)。當現(xian)有的(de)(de)存(cun)儲(chu)空間不(bu)能滿足(zu)新的(de)(de)存(cun)儲(chu)計劃時,在不(bu)影響前端業務的(de)(de)情況下,能通(tong)過(guo)策略(lve)實現(xian)存(cun)儲(chu)空間的(de)(de)自(zi)(zi)動(dong)(dong)擴(kuo)容。
■無限擴展
監控CDS 云(yun)存(cun)儲平臺(tai)可分成支持(chi)1024 級(ji)的管理模式(shi),每(mei)級(ji)的存(cun)儲模塊支持(chi)1024 臺(tai)存(cun)儲設備,實現存(cun)儲設備的無限(xian)擴展。
2 錄像數據的安全訪問
存(cun)放在存(cun)儲設(she)備中的(de)視頻(pin)數(shu)據可能涉及到隱私或敏感信息,所以(yi)對于(yu)訪問存(cun)儲的(de)音(yin)視頻(pin)數(shu)據的(de)用戶應(ying)進行權(quan)(quan)限認證,嚴禁未授權(quan)(quan)用戶對數(shu)據的(de)非(fei)法訪問。
![](/res/201605/06/20160506_1614734_19-1_796942_140493_0.jpg)
完善的數據保護機制及優化
而在(zai)視(shi)頻(pin)監控應(ying)用中,通常(chang)一個(ge)陣(zhen)列(lie)中磁盤都是7×24 小(xiao)時(shi)不(bu)間斷工(gong)作。音視(shi)頻(pin)數據(ju)的(de)特征(zheng)是,部分的(de)數據(ju)損(sun)壞(huai)只會損(sun)壞(huai)很短(duan)一段(duan)時(shi)間的(de)音視(shi)頻(pin)片段(duan)不(bu)可使用,并不(bu)會影響全(quan)局,這(zhe)種(zhong)應(ying)用模式(shi)下,傳統的(de)RAID 算法將會導致(zhi)陣(zhen)列(lie)變得非(fei)常(chang)的(de)脆弱(ruo),容易由于少(shao)量(liang)的(de)磁盤IO 錯誤導致(zhi)整個(ge)陣(zhen)列(lie)不(bu)可用。因(yin)此,在(zai)視(shi)頻(pin)監控領域,UNIVIEW 根據(ju)這(zhe)個(ge)行業的(de)應(ying)用特征(zheng),從設備級和方案級兩方面(mian)出(chu)發進行優化,大大提高了陣(zhen)列(lie)的(de)容錯能力,提升(sheng)了可用性。
設備層
監(jian)控存儲設(she)備自身(shen)提(ti)供(gong)多種保護機制,最大程度的保護視頻錄像數據。
■物理層
在物理層,通過最先進的磁盤技術保證數據的容錯(磁盤扇區的remap 技術)。
■RAID 層
在傳統的RAID 應用中,對于磁盤的錯誤是零容忍的,一旦發現磁盤IO 錯誤,就會將故障磁盤下線,導致陣列降級。 ■RAID 重建
在RAID 重建功能中,重新設計了新的重建算法,大大提升了RAID 重建速度。有效保證了在陣列降級情況下的數據恢復速度,提升了系統的可靠性。
■硬盤順序上電
包括存儲資源的可靠性(磁盤可靠性、RAID 可靠性、存儲設備級保護),存儲數據的可靠性,數據恢復,性能優化。
■設備層
支持在線式內嵌UPS 電池和數據保險箱功能,異常停電時可以繼續供電以便把寫緩存數據保存到數據保險箱中,完全保證用戶數據的完整性。
■協議層
在(zai)存(cun)儲協(xie)議層面,針(zhen)對(dui)音視頻媒體(ti)流(liu)傳(chuan)輸的(de)特(te)點,有針(zhen)對(dui)性的(de)優化了(le)iSCSI 協(xie)議參(can)數,使(shi)得存(cun)儲媒體(ti)流(liu)的(de)傳(chuan)輸更加的(de)高效,提(ti)升可靠性。
方案級
從寫入的(de)視(shi)頻(pin)錄(lu)像數據(ju)采集后的(de)傳輸到后端存(cun)儲設備(bei)上錄(lu)像數據(ju)的(de)寫入過程中宇視(shi)科技(ji)的(de)監控CDS(Cloud Direct Storage) 云(yun)存(cun)儲提供(gong)解決方(fang)案級(ji)的(de)保護,完(wan)美(mei)的(de)保護視(shi)頻(pin)錄(lu)像數據(ju)。
■前端緩存補錄
在監控系統實際應用環境中,經常會面臨網絡終端、存儲設備斷電等情況,導致前端的錄像無法及時存儲到中心存儲資源,從而造成錄像丟失。
云存(cun)(cun)儲(chu)解決(jue)方(fang)案,在(zai)網絡或中心存(cun)(cun)儲(chu)等(deng)異(yi)常(chang)時,前(qian)端(duan)設備會(hui)(hui)啟動緩存(cun)(cun)功(gong)能,將(jiang)視頻數據存(cun)(cun)在(zai)本地的存(cun)(cun)儲(chu)設備上( 如:U 盤、移動硬(ying)盤和SD 卡等(deng))。同時,后端(duan)鏈(lian)路(lu)或設備恢復正常(chang)后,會(hui)(hui)自動將(jiang)補錄到的錄像(xiang)上傳(chuan)到后端(duan)存(cun)(cun)儲(chu)上,避免造成數據丟失。同時在(zai)統一的監控管理平臺(tai)上,能對該時間(jian)段的錄像(xiang)進行檢(jian)索(suo)、回放、刪除等(deng)管理操作。
■動態碼流直存
宇視科技的CDS 云存儲解決方案:對于宇視科技監控終端,可按照錄像存儲業務的優先級,支持變碼流存儲:對于周期計劃類等優先級較低的錄像存儲業務,可采用低碼流或者抽幀方式的存儲,適當減少對存儲空間的占用。而對于告警聯動類等優先級較高的錄像存儲業務,可采用高碼流、全幀等方式存儲,全力保證錄像的高質量、高清晰度。
同(tong)時,基于(yu)(yu)支持(chi)前端智能分(fen)析功能的(de)監控終端,對(dui)(dui)于(yu)(yu)監控畫面中的(de)重點(dian)區域或動態圖像,采用低壓縮比(bi)、高(gao)碼流(liu)格式(shi)進(jin)行傳(chuan)(chuan)輸(shu)及存(cun)(cun)儲;對(dui)(dui)于(yu)(yu)監控畫面中的(de)非重點(dian)區域或靜(jing)態圖像,采用高(gao)壓縮比(bi)、低碼流(liu)進(jin)行傳(chuan)(chuan)輸(shu)及存(cun)(cun)儲。這樣在保證關鍵錄像數(shu)(shu)據的(de)高(gao)質(zhi)量傳(chuan)(chuan)輸(shu)、高(gao)質(zhi)量存(cun)(cun)儲的(de)同(tong)時,可有效減(jian)少非關鍵數(shu)(shu)據占用的(de)傳(chuan)(chuan)輸(shu)帶(dai)寬、存(cun)(cun)儲資(zi)源(yuan)。
■存儲的“『N+M』,M 最小為零”保護
存儲“『N+M』,M 最小為零”是預防存儲故障的實現方式之一,“N”為在線存儲陣列,“M”為冗余存儲設備,“N”和“M”在一個局域網里,但可以放置在不同的地域。通過“N+M 保護“能將前端攝像機的數據自動存放到冗余存儲陣列設備上。當在線存儲恢復正常后,又自動的恢復到之前存儲設備上。
存(cun)(cun)儲“『N+M』,M 最小為零”從監(jian)控(kong)系統整(zheng)體解決(jue)方(fang)案的(de)角度,有(you)效解決(jue)不同級(ji)別及不同類型的(de)存(cun)(cun)儲異常情況(kuang)下的(de)存(cun)(cun)儲可(ke)(ke)靠性問題。根(gen)據用戶需求,靈活調整(zheng)主用、冗余存(cun)(cun)儲設備的(de)數(shu)目,比傳統陣列(lie)支持(chi)雙控(kong)保護(hu)技術的(de)方(fang)案整(zheng)體可(ke)(ke)靠性和靈活性更高,且全系統保護(hu)成(cheng)本更低。
![](/res/201605/06/20160506_1614735_19-2_796942_140493_0.jpg)
總結
宇視根據自己多年在存儲和多媒體領域的技術積累和理解,基于多媒體應用的特點,有針對性的對現有存儲技術進行了創造性的改進和優化。
宇視(shi)的(de)CDS 云(yun)(yun)存(cun)儲(chu)(chu)解(jie)決方案(an)實現了對存(cun)儲(chu)(chu)設(she)備(bei)的(de)統一(yi)管理、按(an)需分配、即(ji)插即(ji)用(yong),基于云(yun)(yun)存(cun)儲(chu)(chu)理念(nian)的(de)的(de)宇視(shi)科技存(cun)儲(chu)(chu)設(she)備(bei)融入的(de)云(yun)(yun)存(cun)儲(chu)(chu)數據管理模塊,更好給(gei)用(yong)戶提供(gong)端到端的(de)云(yun)(yun)存(cun)儲(chu)(chu)服務。