存(cun)儲產(chan)品作為視(shi)頻(pin)監(jian)(jian)控解決方案必不可(ke)少的(de)一個部件,其網絡(luo)位(wei)置雖然處于后端(duan),用戶不能直觀體驗(yan),但是(shi)位(wei)于前端(duan)的(de)攝像頭產(chan)生的(de)海(hai)量視(shi)頻(pin)數據需要7x24 小時不間(jian)斷的(de)寫入到存(cun)儲設備中,對存(cun)儲產(chan)品的(de)性(xing)(xing)能和可(ke)靠性(xing)(xing)有非常高(gao)的(de)要求。視(shi)頻(pin)錄像一旦丟失(shi),將會給用戶帶來極大的(de)損(sun)失(shi),其重要性(xing)(xing)不言而喻(yu)。宇(yu)視(shi)科技存(cun)儲產(chan)品有十(shi)余年的(de)深厚積累,深刻理解監(jian)(jian)控業務(wu)和存(cun)儲技術,在性(xing)(xing)能和可(ke)靠性(xing)(xing)方面在業界樹立了很好的(de)口碑(bei)。
一、高性能
宇視(shi)視(shi)頻(pin)監(jian)控(kong)存儲產品,針(zhen)對視(shi)頻(pin)監(jian)控(kong)業務的(de)(de)特點(dian),配合宇視(shi)iSCSI 塊直存解決方(fang)案,從不同層面進(jin)行優化,提高視(shi)頻(pin)監(jian)控(kong)的(de)(de)性能,從而達到(dao)了業界領先的(de)(de)性能水平(ping)。
iSCSI 塊直存解決方案
![](/res/201605/06/20160506_1614716_14-1_796937_140493_0.jpg)
宇視(shi)視(shi)頻(pin)(pin)監控存儲產品(pin)配合iSCSI 塊直存整(zheng)體解(jie)決方(fang)案(an),前端攝像頭將視(shi)頻(pin)(pin)數據通(tong)過(guo)iSCSI 協議以(yi)塊直存的方(fang)式(shi)寫入(ru)存儲設備(bei),無需經過(guo)媒體服務(wu)器,既縮(suo)短了I/O 路徑,也不存在(zai)文件存儲的碎片問題(ti),從解(jie)決方(fang)案(an)層面(mian)進行優(you)化,極大地提高了視(shi)頻(pin)(pin)監控的接入(ru)和寫入(ru)性能。
智能緩存技術
![](/res/201605/06/20160506_1614717_14-2_796937_140493_0.jpg)
宇視(shi)視(shi)頻(pin)監控(kong)存(cun)儲產品采用寫緩(huan)(huan)存(cun)技(ji)術,將寫入到(dao)存(cun)儲設備(bei)的(de)I/O,先寫入到(dao)緩(huan)(huan)存(cun)中,緩(huan)(huan)存(cun)中的(de)數據,按(an)照一定的(de)規則將這些數據刷(shua)(shua)到(dao)后端存(cun)儲中去(qu)。Cache 刷(shua)(shua)新算法是通過LBA進行智(zhi)能(neng)分析和排序,無論是隨機寫,還(huan)是順序寫,都(dou)可(ke)以高效(xiao)、智(zhi)能(neng)地(di)整合Cache 中的(de)數據,以便(bian)最大限度地(di)提高系統的(de)寫入性能(neng)。
![](/res/201605/06/20160506_1614718_14-3_796937_140493_0.jpg)
讀(du)緩存(cun)可(ke)以(yi)自動識別當前(qian)I/O 的順序讀(du),并根據業務模(mo)型動態(tai)啟停預(yu)取功能,預(yu)取可(ke)以(yi)有效提高系統的讀(du)性能。宇視視頻監控存(cun)儲產品讀(du)緩存(cun)的智能預(yu)取算法不(bu)僅可(ke)以(yi)根據當前(qian)的業務模(mo)型自動調整預(yu)取深度(du),而且(qie)針(zhen)對業務寫入(ru)特點,還可(ke)以(yi)自動設置預(yu)取模(mo)型,最大限度(du)地提高讀(du)性能。
■專利:
一種動態調整存儲設備Cache 讀寫命令數的方法和裝置201410313524.6
一種動態分配緩存容量的方法以及裝置201410153810.0
一(yi)種動(dong)態調整緩存刷(shua)新策略(lve)的方法和裝置(zhi)201410067092.5
業務讀寫及重建I/O 智能調度技術
宇(yu)視視頻(pin)監控存儲產品業務讀寫(xie)及重(zhong)建(jian)(jian)I/O 智(zhi)能調(diao)度技術,系(xi)統(tong)(tong)會根據當(dang)(dang)前系(xi)統(tong)(tong)繁(fan)忙情況自動調(diao)整重(zhong)建(jian)(jian)的(de)速度,當(dang)(dang)系(xi)統(tong)(tong)非常繁(fan)忙的(de)時候,主動降(jiang)低RAID 重(zhong)建(jian)(jian)速度,減少對于業務讀寫(xie)性能的(de)影響,當(dang)(dang)系(xi)統(tong)(tong)比(bi)較空閑的(de)時候,提高RAID 重(zhong)建(jian)(jian)速度,有(you)效提高系(xi)統(tong)(tong)資源利用率。
■專利:
一種動(dong)態調整冗余RAID 陣列重建的裝置和方法201310260315.5
二、高可靠性
宇視視頻(pin)監控存儲產品提供全方位的數據(ju)保護(hu),從磁盤(pan)級到系統間(jian)級,多重保護(hu),為數據(ju)安全保駕護(hu)航,這里重點介紹其中(zhong)幾(ji)種(zhong)技術。
磁盤級
■磁盤故障修復
故障修復條件:冗余陣列有讀介質錯誤
故障修(xiu)復處理:通過讀(du)同一條帶的(de)其他(ta)磁盤的(de)數據,進行異或(huo)運算,計算出讀(du)介(jie)質錯(cuo)誤地(di)址的(de)正確(que)數據,重新寫到讀(du)錯(cuo)誤的(de)地(di)方(fang),修(xiu)復讀(du)錯(cuo)誤
![](/res/201605/06/20160506_1614719_14-4_796937_140493_0.jpg)
■磁盤壞塊替換
壞塊替換條件:磁盤出現介質寫錯誤
壞塊(kuai)(kuai)替(ti)換處(chu)理:出現(xian)介(jie)質寫(xie)錯(cuo)誤(wu)之后,將I/O 重新寫(xie)到(dao)保留的一塊(kuai)(kuai)區域(yu),下次(ci)讀(du)(du)這個I/O 的時候,就直接從這塊(kuai)(kuai)保留的區域(yu)讀(du)(du)出
![](/res/201605/06/20160506_1614720_14-5_796937_140493_0.jpg)
■專利:
一種磁盤損壞扇區屏蔽方法及裝置201210238194.X
RAID級
■超級RAID
![](/res/201605/06/20160506_1614722_14-6_796937_140493_0.jpg)
■塊虛擬化RAID-NT
塊(kuai)(kuai)(kuai)虛擬(ni)(ni)(ni)化(hua)RAID-NT 技術,類似于(yu)3Par 塊(kuai)(kuai)(kuai)虛擬(ni)(ni)(ni)化(hua)Fast RAID 技術,將硬盤(pan)分成很多相(xiang)同(tong)大小的(de)(de)虛擬(ni)(ni)(ni)磁(ci)盤(pan)VD。不同(tong)磁(ci)盤(pan)的(de)(de)虛擬(ni)(ni)(ni)磁(ci)盤(pan)組成具有RAID 屬性的(de)(de)RAID-LUN。當(dang)一塊(kuai)(kuai)(kuai)硬盤(pan)故障,需要重(zhong)建(jian)的(de)(de)時(shi)候,系統(tong)會知(zhi)道該硬盤(pan)的(de)(de)VD 所涉(she)及(ji)到的(de)(de)RAID-LUN。如下圖,磁(ci)盤(pan)0 故障,磁(ci)盤(pan)0 所涉(she)及(ji)的(de)(de)RAID-LUN0、 RAID-LUN2、RAID-LUN4 需要重(zhong)構(gou)(gou),RAID-LUN0 的(de)(de)重(zhong)構(gou)(gou)塊(kuai)(kuai)(kuai)是(shi)(shi)硬盤(pan)3 上(shang)的(de)(de)塊(kuai)(kuai)(kuai)29,RAID-LUN2 的(de)(de)重(zhong)構(gou)(gou)塊(kuai)(kuai)(kuai)是(shi)(shi)硬盤(pan)4 上(shang)的(de)(de)塊(kuai)(kuai)(kuai)38,RAID-LUN4 的(de)(de)重(zhong)構(gou)(gou)塊(kuai)(kuai)(kuai)是(shi)(shi)硬盤(pan)2 的(de)(de)塊(kuai)(kuai)(kuai)19,這(zhe)三條(tiao)重(zhong)構(gou)(gou)流可以同(tong)時(shi)執(zhi)行。
![](/res/201605/06/20160506_1614723_14-7_796937_140493_0.jpg)
RAID-NT 塊虛擬化(hua)最大(da)(da)的(de)(de)(de)(de)優勢就是(shi)快速重(zhong)(zhong)(zhong)(zhong)建(jian)(jian)。隨(sui)著硬盤(pan)容量越來(lai)(lai)越大(da)(da),RAID 重(zhong)(zhong)(zhong)(zhong)建(jian)(jian)時間越來(lai)(lai)越長,導(dao)致(zhi)陣列失(shi)(shi)效的(de)(de)(de)(de)風險(xian)大(da)(da)大(da)(da)增(zeng)加。一旦(dan)在重(zhong)(zhong)(zhong)(zhong)建(jian)(jian)的(de)(de)(de)(de)過程(cheng)中(zhong),其(qi)他(ta)硬盤(pan)發生故障,則會導(dao)致(zhi)整個陣列數據的(de)(de)(de)(de)丟失(shi)(shi)。RAID-NT 主要就是(shi)為了解決這(zhe)個問題而(er)設(she)計的(de)(de)(de)(de)。傳統(tong)RAID 重(zhong)(zhong)(zhong)(zhong)建(jian)(jian),只有RAID 陣列中(zhong)的(de)(de)(de)(de)硬盤(pan)參(can)與(yu)(yu)重(zhong)(zhong)(zhong)(zhong)建(jian)(jian),數據重(zhong)(zhong)(zhong)(zhong)構到(dao)熱(re)備盤(pan),受限于熱(re)備盤(pan)的(de)(de)(de)(de)瓶頸。RAID-NT 重(zhong)(zhong)(zhong)(zhong)建(jian)(jian),整個磁(ci)(ci)盤(pan)池(chi)中(zhong)所有的(de)(de)(de)(de)磁(ci)(ci)盤(pan)都會參(can)與(yu)(yu)重(zhong)(zhong)(zhong)(zhong)建(jian)(jian),磁(ci)(ci)盤(pan)池(chi)中(zhong)的(de)(de)(de)(de)磁(ci)(ci)盤(pan)越多(duo),參(can)與(yu)(yu)重(zhong)(zhong)(zhong)(zhong)建(jian)(jian)的(de)(de)(de)(de)磁(ci)(ci)盤(pan)就越多(duo),重(zhong)(zhong)(zhong)(zhong)建(jian)(jian)當然也就越快。重(zhong)(zhong)(zhong)(zhong)建(jian)(jian)的(de)(de)(de)(de)時間窗大(da)(da)大(da)(da)縮短(duan)了,陣列失(shi)(shi)效的(de)(de)(de)(de)風險(xian)也大(da)(da)大(da)(da)減少(shao)。
■專利:
一種不中斷數據存儲服務且修復RAID 陣列的方法和裝置201410603460.3
一種降低虛擬磁盤管(guan)理復雜度的方(fang)法(fa)和裝置201410653820.0
■多種重建方式
系統軟件級
![](/res/201605/06/20160506_1614724_14-8_796937_140493_0.jpg)
■數據保險箱
在設(she)備異常掉電后,系(xi)(xi)統(tong)配置(zhi)的(de)(de)電池會(hui)繼續給系(xi)(xi)統(tong)供(gong)電以保(bao)證寫緩存(cun)整(zheng)個空間數(shu)(shu)據(ju)(ju)(ju)保(bao)存(cun)到(dao)內置(zhi)的(de)(de)“數(shu)(shu)據(ju)(ju)(ju)保(bao)險箱(xiang)”中。當設(she)備恢復供(gong)電正常重啟后,系(xi)(xi)統(tong)會(hui)將“數(shu)(shu)據(ju)(ju)(ju)保(bao)險箱(xiang)”的(de)(de)緩存(cun)數(shu)(shu)據(ju)(ju)(ju)加載(zai)到(dao)系(xi)(xi)統(tong)緩存(cun)中,并根據(ju)(ju)(ju)策略及時把緩存(cun)數(shu)(shu)據(ju)(ju)(ju)刷到(dao)RAID 磁(ci)盤中,確保(bao)數(shu)(shu)據(ju)(ju)(ju)在任(ren)何情況(kuang)下都不會(hui)丟失。
■雙控故障保護技術
宇視視頻監控(kong)(kong)雙控(kong)(kong)存(cun)儲(chu)設備實(shi)現了雙存(cun)儲(chu)控(kong)(kong)制(zhi)器之(zhi)間(jian)Active-Active 模式的(de)故障保護,無(wu)論哪個控(kong)(kong)制(zhi)器宕機,對端控(kong)(kong)制(zhi)器都會進行該故障控(kong)(kong)制(zhi)器的(de)業(ye)務接管,故障控(kong)(kong)制(zhi)器恢(hui)復(fu)后,可進行自動故障恢(hui)復(fu)保證(zheng)業(ye)務的(de)持續性。
雙控故障保護技術主要檢測保護如下四個方面的故障:
應用路徑檢測,能檢測保護網段的應用路徑,網口故障或網絡鏈路故障,保證前端業務通道正常。
存儲路徑檢測,能檢測后端的SAS 接口或SAS 鏈路以及DEU 控制器故障,保證后端讀寫硬盤正常。
服務器自身檢測,包括關鍵進程,業務模塊等。
心跳檢(jian)(jian)測(ce)(ce), 通過(guo)內部(bu)網口(kou), 串口(kou)以及CPLD 等多種手段的心跳檢(jian)(jian)測(ce)(ce),檢(jian)(jian)測(ce)(ce)到對端控制器(qi)是否死(si)機或異常斷電(dian)。
■專利:
一種存儲(chu)控制(zhi)器故障檢測方(fang)法201310165207.X
系統間級
糾刪碼技術:宇視云存儲支持N+M 糾刪碼,支持節(jie)點間的(de)(de)(de)數據保護(hu)。文件寫(xie)入的(de)(de)(de)時候,會分成(cheng)固(gu)定大小(xiao)的(de)(de)(de)數據塊,每個數據塊分成(cheng)N 片(pian),通過糾刪碼算法,得到(dao)N+M 個數據分片(pian),離散寫(xie)入不同的(de)(de)(de)存儲節(jie)點。讀(du)取(qu)數據塊的(de)(de)(de)時候,只需要讀(du)取(qu)任意N 個數據分片(pian)就可(ke)以了。相比3份(fen)復(fu)制33% 的(de)(de)(de)磁盤(pan)(pan)利(li)用(yong)率(lv),2 份(fen)復(fu)制50% 的(de)(de)(de)硬盤(pan)(pan)利(li)用(yong)率(lv),N+M 糾刪碼高達(da)80% 的(de)(de)(de)硬盤(pan)(pan)利(li)用(yong)率(lv),大大節(jie)省了用(yong)戶成(cheng)本(ben)。如下為4+2 的(de)(de)(de)糾刪碼:
![](/res/201605/06/20160506_1614725_14-9_796937_140493_0.jpg)
本文簡單闡述了宇(yu)視(shi)科(ke)技(ji)在存儲(chu)技(ji)術(shu)領域的一些關鍵技(ji)術(shu)以及(ji)給用(yong)(yong)戶(hu)帶(dai)來(lai)的應用(yong)(yong)價值(zhi)。在未(wei)來(lai),宇(yu)視(shi)科(ke)技(ji)的存儲(chu)技(ji)術(shu)仍將會持續積淀(dian),不斷進行,為用(yong)(yong)戶(hu)提供更高(gao)性能(neng)和可靠性的全系列存儲(chu)產品。