當今社會(hui)是一(yi)個數(shu)(shu)(shu)據(ju)(ju)社會(hui),從2010 年開始,全球數(shu)(shu)(shu)據(ju)(ju)總量(liang)(liang)(liang)已經進(jin)入ZB 時(shi)代,隨著視頻監(jian)控向高清化、智能(neng)化的(de)發展,隨著移動互聯網和(he)物(wu)聯網的(de)興(xing)起,由各類傳感器產生的(de)數(shu)(shu)(shu)據(ju)(ju)量(liang)(liang)(liang)和(he)數(shu)(shu)(shu)據(ju)(ju)種類正(zheng)在加速增長,根據(ju)(ju)IDC 監(jian)測(ce),全球數(shu)(shu)(shu)據(ju)(ju)量(liang)(liang)(liang)大(da)約每18 個月就會(hui)翻一(yi)番(這大(da)概(gai)也可以稱之為數(shu)(shu)(shu)據(ju)(ju)摩爾定律吧),預計到(dao)2020 年,全球數(shu)(shu)(shu)據(ju)(ju)量(liang)(liang)(liang)將達到(dao)或超過40ZB,人類社會(hui)正(zheng)處(chu)于一(yi)個數(shu)(shu)(shu)據(ju)(ju)爆炸的(de)時(shi)代,或者大(da)數(shu)(shu)(shu)據(ju)(ju)時(shi)代,對(dui)這些海量(liang)(liang)(liang)數(shu)(shu)(shu)據(ju)(ju)的(de)存儲、管理和(he)利用,促進(jin)了(le)云(yun)計算(suan)技術的(de)發展,而云(yun)存儲作為云(yun)計算(suan)概(gai)念的(de)一(yi)種具(ju)體表(biao)現形式,也得(de)到(dao)了(le)極大(da)的(de)發展。
相(xiang)對(dui)傳統存(cun)儲(chu)(chu)(chu)而(er)(er)言(yan),云(yun)存(cun)儲(chu)(chu)(chu)改變了數據垂直存(cun)儲(chu)(chu)(chu)在某一(yi)(yi)臺物理(li)(li)設備(bei)的(de)(de)(de)存(cun)放模式(shi)(shi),通過(guo)(guo)寬帶網絡(比如萬兆以太網或Infiniband技(ji)(ji)術(shu))集合(he)大量(liang)的(de)(de)(de)存(cun)儲(chu)(chu)(chu)設備(bei),通過(guo)(guo)存(cun)儲(chu)(chu)(chu)虛擬化(hua)、分布式(shi)(shi)文件(jian)系(xi)統等技(ji)(ji)術(shu)將位于(yu)各(ge)單(dan)(dan)一(yi)(yi)存(cun)儲(chu)(chu)(chu)設備(bei)上(shang)的(de)(de)(de)物理(li)(li)存(cun)儲(chu)(chu)(chu)資源統一(yi)(yi)管理(li)(li),構成邏(luo)輯上(shang)統一(yi)(yi)的(de)(de)(de)存(cun)儲(chu)(chu)(chu)資源池對(dui)外提供服務,從而(er)(er)在存(cun)儲(chu)(chu)(chu)容量(liang)上(shang)得(de)以從單(dan)(dan)設備(bei)PB 級擴展至(zhi)數十PB乃至(zhi)數百PB,并(bing)且,由于(yu)云(yun)存(cun)儲(chu)(chu)(chu)系(xi)統中的(de)(de)(de)各(ge)節點能夠并(bing)行提供讀(du)寫訪問服務,系(xi)統性能隨著(zhu)業(ye)務節點的(de)(de)(de)增(zeng)加(jia)而(er)(er)獲(huo)得(de)顯著(zhu)提升。同時,通過(guo)(guo)數據冗余編碼技(ji)(ji)術(shu)、業(ye)務快速接管技(ji)(ji)術(shu),提供相(xiang)對(dui)傳統存(cun)儲(chu)(chu)(chu)設備(bei)更高的(de)(de)(de)系(xi)統可(ke)用性。容量(liang)和性能的(de)(de)(de)可(ke)擴展性、系(xi)統高可(ke)用性,是云(yun)存(cun)儲(chu)(chu)(chu)系(xi)統最(zui)核心的(de)(de)(de)技(ji)(ji)術(shu)特征。
通常(chang),從云存儲的技術實現層(ceng)次上看,從底層(ceng)向上,可以(yi)分為存儲層(ceng)、管(guan)理調度層(ceng)、訪問接口層(ceng)、業務應(ying)用層(ceng)等(deng)四個層(ceng)次,如上圖(tu)所示:
![](/res/201605/06/20160506_1614729_16-1_796939_140493_0.jpg)
云存儲技術實現層次
其中存(cun)(cun)(cun)儲(chu)(chu)層是云存(cun)(cun)(cun)儲(chu)(chu)的基礎(chu),存(cun)(cun)(cun)儲(chu)(chu)設備(bei)可(ke)以(yi)是FC 光(guang)纖通道設備(bei),也(ye)可(ke)以(yi)是基于(yu)IP的ISCSI 存(cun)(cun)(cun)儲(chu)(chu)設備(bei)或者NAS 系統(tong),在一個(ge)云存(cun)(cun)(cun)儲(chu)(chu)系統(tong)中,底層物(wu)理存(cun)(cun)(cun)儲(chu)(chu)設備(bei)數量龐大,而且設備(bei)形(xing)態理論上也(ye)允許(xu)異(yi)構,在物(wu)理存(cun)(cun)(cun)儲(chu)(chu)設備(bei)之上是一個(ge)統(tong)一的存(cun)(cun)(cun)儲(chu)(chu)設備(bei)管理層,實現(xian)對物(wu)理存(cun)(cun)(cun)儲(chu)(chu)設備(bei)的邏輯虛擬化(hua)管理、狀態監控和維護等功能。
管(guan)理調度層(ceng)是云(yun)(yun)存(cun)(cun)儲(chu)最核(he)心的部分,這(zhe)一層(ceng)次(ci)協調各(ge)底(di)層(ceng)存(cun)(cun)儲(chu)設備實現(xian)對數(shu)據的多副(fu)本或冗余編碼(ma)計算、分散存(cun)(cun)儲(chu)、負(fu)載均(jun)衡等功能(neng),在(zai)常見(jian)的云(yun)(yun)存(cun)(cun)儲(chu)系(xi)統中(zhong),通(tong)常采用(yong)分布式文件系(xi)統或者對象(xiang)存(cun)(cun)儲(chu)來實現(xian)。不過,在(zai)具體(ti)實現(xian)時,該層(ceng)的功能(neng)也可能(neng)上移,位于訪問(wen)接(jie)(jie)口層(ceng)和應(ying)用(yong)服務(wu)層(ceng)之間(jian),甚(shen)至直接(jie)(jie)嵌(qian)入到業務(wu)應(ying)用(yong)層(ceng)中(zhong),和業務(wu)應(ying)用(yong)緊密(mi)結合,形成業務(wu)專用(yong)云(yun)(yun)存(cun)(cun)儲(chu)。
訪(fang)(fang)問接(jie)口(kou)層是業(ye)務應用和(he)云(yun)存(cun)儲(chu)平臺之間的(de)(de)一個(ge)橋梁,提供(gong)應用服務所需要(yao)調(diao)用的(de)(de)函數接(jie)口(kou),由(you)于(yu)云(yun)存(cun)儲(chu)系統往(wang)(wang)往(wang)(wang)需要(yao)支持多(duo)種不同的(de)(de)業(ye)務系統,往(wang)(wang)往(wang)(wang)需要(yao)提供(gong)多(duo)種訪(fang)(fang)問接(jie)口(kou),例(li)如(ru)ISCSI、NFS、CIFT、FTP、REST 等。
業(ye)務(wu)(wu)應(ying)用(yong)(yong)層(ceng)通過云(yun)(yun)(yun)存(cun)儲(chu)(chu)(chu)系(xi)統提(ti)(ti)(ti)供(gong)的(de)(de)(de)(de)(de)各種(zhong)訪問接(jie)口,對用(yong)(yong)戶(hu)提(ti)(ti)(ti)供(gong)豐富的(de)(de)(de)(de)(de)業(ye)務(wu)(wu)類(lei)(lei)型,例如(ru)公有(you)云(yun)(yun)(yun)存(cun)儲(chu)(chu)(chu)提(ti)(ti)(ti)供(gong)的(de)(de)(de)(de)(de)網(wang)盤(pan)服務(wu)(wu)、數據(ju)歸(gui)檔服務(wu)(wu)、高清(qing)視(shi)頻(pin)監控服務(wu)(wu)等(deng)。部分云(yun)(yun)(yun)存(cun)儲(chu)(chu)(chu)系(xi)統也會在這一層(ceng)實現管(guan)理(li)調(diao)度(du)層(ceng)的(de)(de)(de)(de)(de)功能(neng)(neng),將(jiang)業(ye)務(wu)(wu)數據(ju)的(de)(de)(de)(de)(de)冗(rong)余編碼、分散存(cun)儲(chu)(chu)(chu)、負載均衡、故障保(bao)護(hu)等(deng)功能(neng)(neng)和各種(zhong)業(ye)務(wu)(wu)的(de)(de)(de)(de)(de)實現緊密結合,提(ti)(ti)(ti)供(gong)非常極具特(te)色(se)的(de)(de)(de)(de)(de)業(ye)務(wu)(wu)應(ying)用(yong)(yong),和云(yun)(yun)(yun)存(cun)儲(chu)(chu)(chu)系(xi)統的(de)(de)(de)(de)(de)核心(xin)功能(neng)(neng)在管(guan)理(li)調(diao)度(du)層(ceng)實現的(de)(de)(de)(de)(de)通用(yong)(yong)云(yun)(yun)(yun)存(cun)儲(chu)(chu)(chu)相對應(ying),此類(lei)(lei)云(yun)(yun)(yun)存(cun)儲(chu)(chu)(chu)系(xi)統的(de)(de)(de)(de)(de)核心(xin)功能(neng)(neng)在應(ying)用(yong)(yong)層(ceng)實現,可以歸(gui)類(lei)(lei)為應(ying)用(yong)(yong)云(yun)(yun)(yun)存(cun)儲(chu)(chu)(chu),例如(ru)宇視(shi)公司的(de)(de)(de)(de)(de)視(shi)頻(pin)監控云(yun)(yun)(yun)存(cun)儲(chu)(chu)(chu)CDS(Cloud DirectStorage)解決方案,可以為用(yong)(yong)戶(hu)提(ti)(ti)(ti)供(gong)極其豐富的(de)(de)(de)(de)(de)視(shi)頻(pin)監控業(ye)務(wu)(wu)。
CDS 解決方案(an)繼承了(le)宇(yu)視(shi)(shi)(shi)科(ke)技視(shi)(shi)(shi)頻(pin)ISCSI塊直(zhi)存(cun)(cun)高性能(neng)的優點(dian),采(cai)用(yong)宇(yu)視(shi)(shi)(shi)最先進的裸(luo)數據(ju)存(cun)(cun)儲(chu)技術,可極大(da)程度發揮存(cun)(cun)儲(chu)設(she)備(bei)讀寫性能(neng),實現云(yun)存(cun)(cun)儲(chu)中的秒級檢索和(he)回放(fang),通過采(cai)用(yong)標準的IPSAN 設(she)備(bei),通過CDV 存(cun)(cun)儲(chu)虛擬化組(zu)件,構成全局統一的虛擬存(cun)(cun)儲(chu)空間,系統支持海量的云(yun)存(cun)(cun)儲(chu)節(jie)點(dian)管理(li)能(neng)力(li),可管理(li)高達(da)2048 個存(cun)(cun)儲(chu)節(jie)點(dian),支持動(dong)態(tai)擴容和(he)縮(suo)容,通過云(yun)存(cun)(cun)儲(chu)管理(li)服務器對物(wu)理(li)存(cun)(cun)儲(chu)資源進行實時(shi)動(dong)態(tai)監控,支持節(jie)點(dian)間負載均衡和(he)故障業(ye)務重(zhong)新調度,提供不間斷的視(shi)(shi)(shi)頻(pin)和(he)圖片存(cun)(cun)儲(chu)服務。同時(shi)也能(neng)提供視(shi)(shi)(shi)頻(pin)實況、視(shi)(shi)(shi)頻(pin)點(dian)播回放(fang)、報(bao)警管理(li)、布(bu)防撤防、地圖應用(yong)等多(duo)種視(shi)(shi)(shi)頻(pin)業(ye)務。
應(ying)(ying)(ying)(ying)用(yong)云存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)和(he)業(ye)務(wu)(wu)(wu)深度(du)結合(he),針對業(ye)務(wu)(wu)(wu)特點選擇適合(he)的(de)(de)(de)存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)模式(shi),往往能提(ti)(ti)供非(fei)常(chang)優(you)異的(de)(de)(de)業(ye)務(wu)(wu)(wu)訪(fang)問(wen)(wen)性(xing)(xing)能,但通(tong)常(chang)各(ge)(ge)廠家(jia)實現方(fang)式(shi)各(ge)(ge)有(you)不同(tong),難以(yi)(yi)互通(tong)或者供第三(san)方(fang)開(kai)發(fa)新的(de)(de)(de)數(shu)(shu)據(ju)(ju)(ju)處理(li)業(ye)務(wu)(wu)(wu),因(yin)此,應(ying)(ying)(ying)(ying)用(yong)云存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)系(xi)(xi)統(tong)(tong)比(bi)較(jiao)適合(he)業(ye)務(wu)(wu)(wu)種(zhong)類較(jiao)少,業(ye)務(wu)(wu)(wu)模型相對固定的(de)(de)(de)應(ying)(ying)(ying)(ying)用(yong)場合(he)。而(er)一個云存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)系(xi)(xi)統(tong)(tong)中(zhong)(zhong),不僅會(hui)存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)海(hai)量的(de)(de)(de)數(shu)(shu)據(ju)(ju)(ju),而(er)且需要(yao)對這(zhe)些數(shu)(shu)據(ju)(ju)(ju)進(jin)行(xing)分(fen)(fen)析和(he)利(li)用(yong),這(zhe)往往需要(yao)集(ji)合(he)多(duo)個專業(ye)廠商來進(jin)行(xing)各(ge)(ge)自(zi)擅長領域的(de)(de)(de)業(ye)務(wu)(wu)(wu)開(kai)發(fa),因(yin)此,系(xi)(xi)統(tong)(tong)的(de)(de)(de)開(kai)放性(xing)(xing)、接(jie)(jie)口的(de)(de)(de)標準(zhun)化(hua),則成為(wei)云存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)系(xi)(xi)統(tong)(tong)建設(she)的(de)(de)(de)重要(yao)需求,在這(zhe)種(zhong)云存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)系(xi)(xi)統(tong)(tong)中(zhong)(zhong),由(you)管理(li)調(diao)度(du)層實現的(de)(de)(de)云存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)的(de)(de)(de)核心(xin)功(gong)能則直接(jie)(jie)在存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)層之上實現,再通(tong)過訪(fang)問(wen)(wen)接(jie)(jie)口層為(wei)業(ye)務(wu)(wu)(wu)平臺提(ti)(ti)供通(tong)用(yong)的(de)(de)(de)訪(fang)問(wen)(wen)接(jie)(jie)口,如(ru)ISCSI塊存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)訪(fang)問(wen)(wen)接(jie)(jie)口、POSIX 文(wen)件訪(fang)問(wen)(wen)接(jie)(jie)口、RESTFUL 接(jie)(jie)口等(deng)(deng),而(er)業(ye)務(wu)(wu)(wu)應(ying)(ying)(ying)(ying)用(yong)開(kai)發(fa)則無需再考慮數(shu)(shu)據(ju)(ju)(ju)冗余、分(fen)(fen)散存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)、負載均衡等(deng)(deng)存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)專屬特性(xing)(xing),而(er)集(ji)中(zhong)(zhong)在業(ye)務(wu)(wu)(wu)應(ying)(ying)(ying)(ying)用(yong)本身(shen)的(de)(de)(de)功(gong)能特性(xing)(xing)方(fang)面,例(li)如(ru)視頻(pin)監控系(xi)(xi)統(tong)(tong)中(zhong)(zhong)的(de)(de)(de)智能識別、卡口計數(shu)(shu)等(deng)(deng),這(zhe)種(zhong)云存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)系(xi)(xi)統(tong)(tong)與具體的(de)(de)(de)應(ying)(ying)(ying)(ying)用(yong)耦合(he)程度(du)較(jiao)低(di),具有(you)更好的(de)(de)(de)通(tong)用(yong)性(xing)(xing),可以(yi)(yi)認為(wei)是(shi)(shi)一種(zhong)通(tong)用(yong)云存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)。目前(qian)通(tong)用(yong)云存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)的(de)(de)(de)應(ying)(ying)(ying)(ying)用(yong)主要(yao)以(yi)(yi)分(fen)(fen)布(bu)式(shi)文(wen)件系(xi)(xi)統(tong)(tong)和(he)對象存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)的(de)(de)(de)方(fang)式(shi)出(chu)現,由(you)于人類發(fa)展過程中(zhong)(zhong)產生的(de)(de)(de)數(shu)(shu)據(ju)(ju)(ju)絕大部分(fen)(fen)都是(shi)(shi)以(yi)(yi)文(wen)件形式(shi)存(cun)(cun)(cun)(cun)在,因(yin)此云存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)系(xi)(xi)統(tong)(tong)以(yi)(yi)分(fen)(fen)布(bu)式(shi)集(ji)群文(wen)件系(xi)(xi)統(tong)(tong)的(de)(de)(de)方(fang)式(shi)出(chu)現是(shi)(shi)一個必然的(de)(de)(de)選擇,而(er)隨著寬帶移(yi)動互聯(lian)網、WEB 技術的(de)(de)(de)發(fa)展,對象存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)系(xi)(xi)統(tong)(tong)也(ye)越來越多(duo)地(di)出(chu)現在網盤、數(shu)(shu)據(ju)(ju)(ju)歸檔(dang)等(deng)(deng)應(ying)(ying)(ying)(ying)用(yong)中(zhong)(zhong)。
在一個(ge)通用(yong)云存(cun)儲(chu)系(xi)(xi)(xi)統中(zhong),都需要(yao)通過(guo)橫向(xiang)擴展(zhan)存(cun)儲(chu)節(jie)點來解(jie)決大量數(shu)據(ju)(ju)的(de)(de)(de)(de)存(cun)儲(chu)容(rong)量和讀(du)寫訪問(wen)(wen)(wen)(wen)(wen)性能問(wen)(wen)(wen)(wen)(wen)題(ti),而其(qi)中(zhong)最關鍵的(de)(de)(de)(de)問(wen)(wen)(wen)(wen)(wen)題(ti),是(shi)解(jie)決記錄(lu)數(shu)據(ju)(ju)邏輯位(wei)(wei)置和物理(li)位(wei)(wei)置之間的(de)(de)(de)(de)映像關系(xi)(xi)(xi)的(de)(de)(de)(de)可靠性存(cun)儲(chu)和高(gao)性能訪問(wen)(wen)(wen)(wen)(wen)問(wen)(wen)(wen)(wen)(wen)題(ti),也就是(shi)元(yuan)數(shu)據(ju)(ju)的(de)(de)(de)(de)存(cun)儲(chu)與訪問(wen)(wen)(wen)(wen)(wen)問(wen)(wen)(wen)(wen)(wen)題(ti),當然,元(yuan)數(shu)據(ju)(ju)還記錄(lu)著文(wen)件或者(zhe)對象的(de)(de)(de)(de)訪問(wen)(wen)(wen)(wen)(wen)權限、屬性、訪問(wen)(wen)(wen)(wen)(wen)時(shi)間等其(qi)他信息。元(yuan)數(shu)據(ju)(ju)的(de)(de)(de)(de)處理(li)好壞(huai),將(jiang)(jiang)極大地影響系(xi)(xi)(xi)統的(de)(de)(de)(de)整體性能和可擴展(zhan)性。一般而言,根據(ju)(ju)對元(yuan)數(shu)據(ju)(ju)的(de)(de)(de)(de)管理(li)模型,可以將(jiang)(jiang)通用(yong)云存(cun)儲(chu)系(xi)(xi)(xi)統分(fen)為(wei)三種類(lei)型,即集中(zhong)式元(yuan)數(shu)據(ju)(ju)、分(fen)布式元(yuan)數(shu)據(ju)(ju)和無元(yuan)數(shu)據(ju)(ju)三種類(lei)型的(de)(de)(de)(de)系(xi)(xi)(xi)統。
集中(zhong)(zhong)(zhong)式(shi)元(yuan)數(shu)據(ju)(ju)(ju)(ju)(ju)(ju)云存(cun)(cun)儲(chu)系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)是一(yi)種典型的(de)(de)(de)非(fei)對(dui)稱式(shi)系(xi)(xi)(xi)(xi)統(tong)(tong)(tong),在(zai)(zai)系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)中(zhong)(zhong)(zhong),通(tong)常具有一(yi)個中(zhong)(zhong)(zhong)央元(yuan)數(shu)據(ju)(ju)(ju)(ju)(ju)(ju)管(guan)(guan)(guan)理(li)服(fu)(fu)務器(qi),負責元(yuan)數(shu)據(ju)(ju)(ju)(ju)(ju)(ju)的(de)(de)(de)存(cun)(cun)儲(chu)和(he)處(chu)理(li)查詢與(yu)修改請求,例如,在(zai)(zai)HDFS 系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)中(zhong)(zhong)(zhong),該元(yuan)數(shu)據(ju)(ju)(ju)(ju)(ju)(ju)管(guan)(guan)(guan)理(li)服(fu)(fu)務器(qi)即為名(ming)字節點Namenode,同(tong)時,存(cun)(cun)在(zai)(zai)大(da)量(liang)的(de)(de)(de)數(shu)據(ju)(ju)(ju)(ju)(ju)(ju)存(cun)(cun)儲(chu)節點提供客(ke)(ke)(ke)戶(hu)I/O數(shu)據(ju)(ju)(ju)(ju)(ju)(ju)的(de)(de)(de)并(bing)行(xing)存(cun)(cun)儲(chu)與(yu)訪問。這(zhe)種架(jia)構(gou)中(zhong)(zhong)(zhong),客(ke)(ke)(ke)戶(hu)端每次對(dui)數(shu)據(ju)(ju)(ju)(ju)(ju)(ju)流(liu)的(de)(de)(de)I/O 操作(zuo),都需要先向元(yuan)數(shu)據(ju)(ju)(ju)(ju)(ju)(ju)管(guan)(guan)(guan)理(li)服(fu)(fu)務器(qi)進行(xing)元(yuan)數(shu)據(ju)(ju)(ju)(ju)(ju)(ju)查詢,客(ke)(ke)(ke)戶(hu)端在(zai)(zai)獲(huo)得(de)需要讀(du)寫的(de)(de)(de)數(shu)據(ju)(ju)(ju)(ju)(ju)(ju)塊物(wu)理(li)位置等(deng)信息后,對(dui)于數(shu)據(ju)(ju)(ju)(ju)(ju)(ju)的(de)(de)(de)I/O 操作(zuo)則(ze)直(zhi)接(jie)在(zai)(zai)客(ke)(ke)(ke)戶(hu)端和(he)數(shu)據(ju)(ju)(ju)(ju)(ju)(ju)存(cun)(cun)儲(chu)節點之間進行(xing)。相對(dui)傳統(tong)(tong)(tong)存(cun)(cun)儲(chu)系(xi)(xi)(xi)(xi)統(tong)(tong)(tong),集中(zhong)(zhong)(zhong)元(yuan)數(shu)據(ju)(ju)(ju)(ju)(ju)(ju)云存(cun)(cun)儲(chu)系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)將控制流(liu)和(he)數(shu)據(ju)(ju)(ju)(ju)(ju)(ju)流(liu)進行(xing)了(le)分離,系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)在(zai)(zai)擴展(zhan)性(xing)(xing)和(he)處(chu)理(li)性(xing)(xing)能方(fang)面(mian)獲(huo)得(de)了(le)較大(da)的(de)(de)(de)提升,同(tong)時,由(you)于元(yuan)數(shu)據(ju)(ju)(ju)(ju)(ju)(ju)集中(zhong)(zhong)(zhong)在(zai)(zai)一(yi)臺服(fu)(fu)務器(qi)上進行(xing)管(guan)(guan)(guan)理(li),整個系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)架(jia)構(gou)比較簡(jian)單,降(jiang)低了(le)系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)設計的(de)(de)(de)復雜性(xing)(xing),目前(qian)業(ye)界采用這(zhe)種架(jia)構(gou)的(de)(de)(de)系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)主(zhu)要有GFS、HDFS、Lustre 等(deng)。
不難看出,雖然集中元數據云存儲系統架構簡單,但會存在兩個主要的問題:
性(xing)(xing)(xing)(xing)能(neng)瓶頸問(wen)題。元(yuan)數(shu)據(ju)(ju)的(de)(de)基本特性(xing)(xing)(xing)(xing)要(yao)求任何時(shi)候對(dui)用(yong)戶數(shu)據(ju)(ju)的(de)(de)訪(fang)(fang)(fang)(fang)問(wen),都(dou)需要(yao)同步地(di)修改元(yuan)數(shu)據(ju)(ju),例如(ru),即(ji)使是對(dui)文(wen)(wen)件(jian)(jian)(jian)進行讀操作(zuo)或者列出目錄(lu)操作(zuo),都(dou)需要(yao)更(geng)新元(yuan)數(shu)據(ju)(ju)中的(de)(de)文(wen)(wen)件(jian)(jian)(jian)訪(fang)(fang)(fang)(fang)問(wen)時(shi)間(jian)屬性(xing)(xing)(xing)(xing)。由于每次I/O 訪(fang)(fang)(fang)(fang)問(wen)都(dou)需要(yao)首先訪(fang)(fang)(fang)(fang)問(wen)元(yuan)數(shu)據(ju)(ju)服務(wu)器(qi),以(yi)便(bian)實現對(dui)系(xi)(xi)統命名空間(jian)進行解(jie)析、數(shu)據(ju)(ju)定(ding)位和訪(fang)(fang)(fang)(fang)問(wen)對(dui)象權限控制等(deng),然后才(cai)能(neng)夠(gou)對(dui)用(yong)戶數(shu)據(ju)(ju)進行I/O 操作(zuo),隨著系(xi)(xi)統規(gui)模不斷擴大(da),需要(yao)管(guan)理(li)(li)的(de)(de)存(cun)儲節點、文(wen)(wen)件(jian)(jian)(jian)數(shu)量(liang)、I/O 操作(zuo)數(shu)量(liang)等(deng)都(dou)會(hui)急劇(ju)增加(jia),而(er)對(dui)元(yuan)數(shu)據(ju)(ju)進行管(guan)理(li)(li)的(de)(de)物理(li)(li)服務(wu)器(qi)性(xing)(xing)(xing)(xing)能(neng)有(you)限,從而(er)形成(cheng)性(xing)(xing)(xing)(xing)能(neng)瓶頸,這種性(xing)(xing)(xing)(xing)能(neng)瓶頸在大(da)量(liang)小文(wen)(wen)件(jian)(jian)(jian)訪(fang)(fang)(fang)(fang)問(wen)時(shi)會(hui)更(geng)為突出。為解(jie)決這一(yi)問(wen)題,人們通常會(hui)采(cai)用(yong)更(geng)高性(xing)(xing)(xing)(xing)能(neng)的(de)(de)CPU,并且采(cai)用(yong)SSD 來加(jia)速對(dui)元(yuan)數(shu)據(ju)(ju)的(de)(de)訪(fang)(fang)(fang)(fang)問(wen),雖然能(neng)夠(gou)在一(yi)定(ding)程度上提(ti)(ti)升元(yuan)數(shu)據(ju)(ju)訪(fang)(fang)(fang)(fang)問(wen)性(xing)(xing)(xing)(xing)能(neng),但往(wang)往(wang)成(cheng)本高昂,且提(ti)(ti)升效果有(you)限,系(xi)(xi)統性(xing)(xing)(xing)(xing)能(neng)隨存(cun)儲節點數(shu)量(liang)增加(jia)只能(neng)呈(cheng)現對(dui)數(shu)方式提(ti)(ti)升而(er)無法線性(xing)(xing)(xing)(xing)提(ti)(ti)升。
元(yuan)(yuan)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)(ju)服(fu)(fu)務(wu)器(qi)(qi)單點(dian)故(gu)(gu)障問(wen)題。在集中(zhong)元(yuan)(yuan)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)(ju)云存儲系(xi)(xi)統(tong)中(zhong),整(zheng)(zheng)個(ge)系(xi)(xi)統(tong)的(de)(de)性(xing)能(neng)和可靠性(xing)完全依賴(lai)于(yu)元(yuan)(yuan)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)(ju)服(fu)(fu)務(wu)器(qi)(qi),一旦元(yuan)(yuan)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)(ju)服(fu)(fu)務(wu)器(qi)(qi)故(gu)(gu)障,系(xi)(xi)統(tong)將無法提供任何服(fu)(fu)務(wu),因此(ci),元(yuan)(yuan)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)(ju)服(fu)(fu)務(wu)器(qi)(qi)就是整(zheng)(zheng)個(ge)系(xi)(xi)統(tong)中(zhong)的(de)(de)潛在單點(dian)故(gu)(gu)障點(dian)。為解(jie)決這(zhe)一問(wen)題,通常對(dui)元(yuan)(yuan)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)(ju)服(fu)(fu)務(wu)器(qi)(qi)采用備(bei)機形(xing)成HA 解(jie)決方案來提供更高的(de)(de)系(xi)(xi)統(tong)可用性(xing),一旦主(zhu)用元(yuan)(yuan)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)(ju)服(fu)(fu)務(wu)器(qi)(qi)故(gu)(gu)障,備(bei)用元(yuan)(yuan)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)(ju)服(fu)(fu)務(wu)器(qi)(qi)可以替代(dai)主(zhu)用服(fu)(fu)務(wu)器(qi)(qi)提供對(dui)元(yuan)(yuan)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)(ju)的(de)(de)訪問(wen)操作,主(zhu)用服(fu)(fu)務(wu)器(qi)(qi)和備(bei)用服(fu)(fu)務(wu)器(qi)(qi)之間的(de)(de)元(yuan)(yuan)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)(ju)必須(xu)隨時(shi)同步,否(fou)則(ze)一旦主(zhu)用服(fu)(fu)務(wu)器(qi)(qi)故(gu)(gu)障,則(ze)可能(neng)導致(zhi)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)(ju)不一致(zhi)問(wen)題,但元(yuan)(yuan)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)(ju)同步操作會進一步加重了元(yuan)(yuan)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)(ju)服(fu)(fu)務(wu)器(qi)(qi)的(de)(de)性(xing)能(neng)負擔,導致(zhi)整(zheng)(zheng)個(ge)系(xi)(xi)統(tong)的(de)(de)訪問(wen)性(xing)能(neng)受到拖累。
為了解決(jue)集(ji)(ji)中元(yuan)數(shu)據(ju)系(xi)統(tong)中的(de)性能瓶頸和單(dan)(dan)點故障(zhang)(zhang)問題(ti),一(yi)種改進(jin)后的(de)分(fen)(fen)布(bu)式(shi)(shi)元(yuan)數(shu)據(ju)云(yun)存(cun)儲系(xi)統(tong)得以出現(xian),這種系(xi)統(tong)采(cai)用多(duo)臺(tai)元(yuan)數(shu)據(ju)服(fu)(fu)務器形成集(ji)(ji)群工作的(de)方式(shi)(shi)提(ti)供元(yuan)數(shu)據(ju)訪問服(fu)(fu)務,集(ji)(ji)群中的(de)每一(yi)臺(tai)設(she)備(bei)都可以提(ti)供元(yuan)數(shu)據(ju)訪問,從(cong)而提(ti)高整體訪問性能,并且解決(jue)了元(yuan)數(shu)據(ju)服(fu)(fu)務器單(dan)(dan)點故障(zhang)(zhang)問題(ti)。在實際(ji)設(she)計中,分(fen)(fen)布(bu)式(shi)(shi)元(yuan)數(shu)據(ju)服(fu)(fu)務器通常和數(shu)據(ju)存(cun)儲節點集(ji)(ji)成到(dao)一(yi)起,形成全對稱分(fen)(fen)布(bu)式(shi)(shi)架構,EMC 公司的(de)Isilon OneFS 是(shi)這一(yi)架構的(de)典型代表。
分(fen)布式云(yun)存(cun)儲系統(tong)(tong)需要在所有元數(shu)據存(cun)儲節點之(zhi)間進行元數(shu)據同步操作,這(zhe)大大增(zeng)加了系統(tong)(tong)設計的復雜性,如果元數(shu)據沒有及時(shi)得到同步,或者遭(zao)到意外(wai)破壞,則會出現同一(yi)文(wen)(wen)件(jian)或者對象的元數(shu)據不一(yi)致,進一(yi)步導致上層應用在通過不同物理(li)服務器訪問文(wen)(wen)件(jian)或對象數(shu)據時(shi)出現數(shu)據不一(yi)致或者讀寫錯誤的問題,這(zhe)種風險隨著云(yun)存(cun)儲系統(tong)(tong)規模的擴大而大幅增(zeng)加。
此外(wai)(wai),由于分布式(shi)(shi)元(yuan)(yuan)數據(ju)(ju)系(xi)統需要在大量節點(dian)之間(jian)進行元(yuan)(yuan)數據(ju)(ju)同步(bu),同步(bu)過(guo)程(cheng)需要采用(yong)(yong)各(ge)種(zhong)加(jia)鎖機制,以(yi)確保(bao)數據(ju)(ju)的(de)一致(zhi)性(xing),加(jia)鎖機制的(de)存在導致(zhi)很多任務處理無法并(bing)行進行,元(yuan)(yuan)數據(ju)(ju)同步(bu)也會對后端帶寬帶來(lai)開(kai)銷(xiao),二者(zhe)都會帶來(lai)系(xi)統性(xing)能(neng)上(shang)的(de)額外(wai)(wai)開(kai)銷(xiao),部分抵(di)消由于采用(yong)(yong)分布式(shi)(shi)元(yuan)(yuan)數據(ju)(ju)存取帶來(lai)的(de)性(xing)能(neng)提(ti)升(sheng),且系(xi)統規(gui)模越大,性(xing)能(neng)開(kai)銷(xiao)越顯著。為了(le)降低性(xing)能(neng)開(kai)銷(xiao),通常需要為節點(dian)配置高性(xing)能(neng)CPU、SSD或(huo)者(zhe)高性(xing)能(neng)SAS 或(huo)FC 硬盤(pan)陣列來(lai)提(ti)供(gong)元(yuan)(yuan)數據(ju)(ju)訪問,并(bing)且采用(yong)(yong)分布式(shi)(shi)共(gong)享(xiang)內存和高性(xing)能(neng)后端網絡(如Infiniband 或(huo)萬兆以(yi)太網)來(lai)加(jia)速元(yuan)(yuan)數據(ju)(ju)同步(bu)速度(du),不(bu)過(guo)這樣(yang)就(jiu)顯著提(ti)升(sheng)了(le)系(xi)統的(de)硬件(jian)成本。
既(ji)然(ran)元(yuan)數(shu)(shu)據(ju)總會帶(dai)來(lai)性(xing)能開(kai)銷和可靠性(xing)問題(ti),第(di)三種云存(cun)(cun)儲系統則徹底拋(pao)棄(qi)元(yuan)數(shu)(shu)據(ju),而(er)是采(cai)用算法來(lai)對(dui)文件或對(dui)象進(jin)行定位,并(bing)將該算法集成在(zai)每一(yi)個存(cun)(cun)儲節(jie)點(dian)上,客戶端從任何一(yi)個存(cun)(cun)儲節(jie)點(dian)進(jin)行數(shu)(shu)據(ju)訪問都(dou)會獲得同(tong)(tong)樣的結(jie)果,云存(cun)(cun)儲系統中(zhong)的每一(yi)個存(cun)(cun)儲節(jie)點(dian)都(dou)可以獨(du)立、并(bing)行地對(dui)外(wai)提供服務,從而(er)真(zhen)正實現性(xing)能隨節(jie)點(dian)數(shu)(shu)增加而(er)線(xian)性(xing)擴(kuo)展,由于(yu)無需在(zai)節(jie)點(dian)間(jian)進(jin)行元(yuan)數(shu)(shu)據(ju)的同(tong)(tong)步(bu)操作,極(ji)大(da)地提高了系統的穩定性(xing)和可靠性(xing)。
宇視科技的(de)(de)UCS(Unified Cloud Storage)統一(yi)云存(cun)儲(chu)系(xi)統是在(zai)視頻應用(yong)云存(cun)儲(chu)CDS 解(jie)決方案之外提供的(de)(de)更為(wei)通用(yong)的(de)(de)云存(cun)儲(chu)解(jie)決方案,它(ta)是一(yi)種采用(yong)無元數(shu)據設計的(de)(de)全(quan)對(dui)(dui)(dui)稱分布式存(cun)儲(chu)系(xi)統,通過UVFS 分布式文(wen)件(jian)系(xi)統實(shi)現對(dui)(dui)(dui)存(cun)儲(chu)資源(yuan)的(de)(de)虛(xu)擬化統一(yi)管理(li),對(dui)(dui)(dui)外提供各種標準軟(ruan)件(jian)接口,無需(xu)集成特殊軟(ruan)件(jian)客戶(hu)端到前端設備(bei)(bei)(例如IPC),也無需(xu)前端應用(yong)設備(bei)(bei)在(zai)數(shu)據保護方面(mian)做額外的(de)(de)開(kai)發工作,對(dui)(dui)(dui)于數(shu)據的(de)(de)保護功能完(wan)全(quan)在(zai)存(cun)儲(chu)卷層面(mian)實(shi)現,具(ju)有架構簡(jian)單、高性(xing)能、高擴展性(xing)、高可用(yong)性(xing)、開(kai)放性(xing)等特點,如下圖所示:
![](/res/201605/06/20160506_1614730_16-2_796939_140493_0.jpg)
宇視全對稱分布式UCS 通用云存儲
具有以下顯著特征:
■全局統一的命名空間
■無元數據全對稱分布式設計,智能哈希算法數據定位,并行任務處理,系統性能隨節點數增加而線性提升
■靈活、高效的系統擴展能力,最大可橫向擴展256 個存儲節點,管理數十PB 存儲空間
■支持節點間故障保護、負載均衡,任一節點故障,剩余節點均可繼續提供客戶端無感知的數據讀寫服務
■基于卷提供多種數據分布和保護策略,如N+M 糾刪碼、多副本、高性能分布式存儲等
■繼承宇視在傳統存儲上的長期積累,支持多種RAID 類型,提供更高性能的塊級底層數據保護
■存儲節點支持掉電數據保護功能,已寫入文件系統buffer 的數據在掉電時能得到妥善保存
■支持(chi)ISCSI、NFS、CIFS、FTP、HTTP、REST 等多種標準訪問接口
UCS 統一(yi)云存(cun)儲(chu)解(jie)決方案(an)可廣(guang)泛用(yong)于高(gao)清視(shi)(shi)頻(pin)監(jian)控系(xi)統、警用(yong)執法(fa)儀在線存(cun)儲(chu)、警情視(shi)(shi)頻(pin)庫歸檔系(xi)統等,為智慧城(cheng)市、平(ping)安城(cheng)市建設提供大數(shu)據、云存(cun)儲(chu)解(jie)決方案(an)。