來自IDC的報告顯示，2011年，1800EB的數(shù)據(jù)被創(chuàng)建和拷貝，且數(shù)據(jù)年增長率達(dá)到60%。如果將所有的數(shù)據(jù)都存儲在CD光盤上，堆起來的高度是地球到月球距離的6倍。另外，隨著各種家庭數(shù)字終端的興起以及Web2.0的廣泛應(yīng)用，大眾成為信息創(chuàng)造的主體。移動互聯(lián)網(wǎng)把信息的生產(chǎn)從PC拓展到手機(jī)，物聯(lián)網(wǎng)把信息的生產(chǎn)從人拓展到物，IDC預(yù)測2020年全球產(chǎn)生的信息將達(dá)到350億TB。這些數(shù)據(jù)中的絕大部分將存儲在世界各地的大型數(shù)據(jù)中心。圖靈獎獲得者JimGray曾斷言，現(xiàn)在每18個月新增的數(shù)據(jù)量等于有史以來的數(shù)據(jù)量之和。信息數(shù)字化所產(chǎn)生的呈指數(shù)級增長的數(shù)據(jù)對存儲系統(tǒng)的容量提出了嚴(yán)峻的挑戰(zhàn)。

    磁盤驅(qū)動器是一種機(jī)電混合設(shè)備。計算相比，存儲系統(tǒng)具有很多不同的特性。隨著社會信息化程度的不斷提高，對數(shù)據(jù)存儲的急劇提升，導(dǎo)致了以“計算”為中心到以“數(shù)據(jù)存儲”為中心的觀念革新。在過去的十多年中，磁盤的區(qū)域密度、軌密度和線密度分別獲得了100%、50%和30%的增長[4]。在存儲領(lǐng)域有兩個重要的技術(shù)對存儲系統(tǒng)的發(fā)展和存儲容量的擴(kuò)展產(chǎn)生了重要的影響。第一個是并行存儲，比如磁盤陣列技術(shù)[5]；第二個就是網(wǎng)絡(luò)技術(shù)對存儲系統(tǒng)體系結(jié)構(gòu)的影響。通過將網(wǎng)絡(luò)引入存儲系統(tǒng)，改變主機(jī)與外部存儲節(jié)點(diǎn)間的連接模式，出現(xiàn)了若干新型存儲體系結(jié)構(gòu)：附網(wǎng)存儲（NAS）和存儲區(qū)域網(wǎng)（SAN）。網(wǎng)絡(luò)存儲技術(shù)對于解決存儲設(shè)備的分散性、I/O的并行性、協(xié)議的高效性提供了一種很好的手段。網(wǎng)絡(luò)與存儲設(shè)備不同的結(jié)合方式可以形成不同拓?fù)浣Y(jié)構(gòu)的網(wǎng)絡(luò)存儲系統(tǒng)，不同的拓?fù)浣Y(jié)構(gòu)對于系統(tǒng)性能的影響也各不相同。但由于性能、價格、可擴(kuò)展性等各方面的原因，這些仍不足以應(yīng)對爆炸性的數(shù)據(jù)增長。另外，許多大型企業(yè)的IT基礎(chǔ)設(shè)施的利用率只有35%。在某些企業(yè)中可能會低至15%。Google報告稱其服務(wù)器的利用率往往在10%到15%之間[9]。這使得工業(yè)界不得不重新思考所面臨的問題，并努力尋求解決的方法。

    2001年，Google在搜索引擎大會上首次提出云計算的概念。2007年年底，Google的一名工程師再次提出了云計算。自此，云計算開始得到工業(yè)界、學(xué)術(shù)界和各國政府的廣泛響應(yīng)。嚴(yán)格意義上講，云計算并不是一種新技術(shù)，而是一種新的服務(wù)模式。云計算將應(yīng)用和計算機(jī)資源包括硬件和系統(tǒng)軟件虛擬化之后包裝成服務(wù)，通過按需付費(fèi)的方式，穿越Internet來滿足用戶各種不同的需求。用戶可以不再需要購買昂貴的計算機(jī)系統(tǒng)，不再因?yàn)樾枰�短時間使用某個軟件而不得不購買該軟件的使用版權(quán)。這種服務(wù)模式在過去的十多年中有過充分的探討，這兩年的重新興起并以一個新的技術(shù)名詞出現(xiàn)，并不是因?yàn)楫a(chǎn)生了某種技術(shù)上的突破，而是由于信息數(shù)字化導(dǎo)致數(shù)據(jù)的爆炸性增長所帶來的一系列問題讓我們不得不重新思考計算機(jī)系統(tǒng)發(fā)展的新走向。另外，由于技術(shù)進(jìn)步所帶來的部分老技術(shù)的重新復(fù)蘇也對云計算的發(fā)展起到了推波助瀾的作用。借助于云計算的理念，將存儲資源進(jìn)行整合，并實(shí)現(xiàn)存儲資源的按需分配。于是就產(chǎn)生了云存儲。

1 云存儲面臨的挑戰(zhàn)

    云存儲面向個人的應(yīng)用主要由網(wǎng)盤、在線文檔編輯、工作流及日程安排；面向企業(yè)的應(yīng)用主要有企業(yè)空間的租賃服務(wù)，企業(yè)級數(shù)據(jù)備份和歸檔、視頻監(jiān)控系統(tǒng)等。無論是哪種應(yīng)用，海量數(shù)據(jù)的高度聚集都要導(dǎo)致存儲系統(tǒng)從少數(shù)的存儲引擎向連在網(wǎng)絡(luò)上的成千上萬的商用化存儲設(shè)備進(jìn)行轉(zhuǎn)變，從傳統(tǒng)的煙囪式的建設(shè)模式轉(zhuǎn)變?yōu)榧�約化的建設(shè)模式。在過去的十多年中集群網(wǎng)絡(luò)的重要進(jìn)展之一是可以將成千上萬的節(jié)點(diǎn)連起來，同時保證高可擴(kuò)展性和相對較低的通信開銷。因此，我們認(rèn)為，采用商用化的技術(shù)來構(gòu)造可擴(kuò)展的集群是云存儲的基本組件。因?yàn)槲覀兛梢砸源罘e木的形式來聚合存儲組件以構(gòu)造大規(guī)模的存儲系統(tǒng)。但是現(xiàn)有的存儲系統(tǒng)進(jìn)行規(guī)模的擴(kuò)展之后還存在很多待解決的問題。

    1.1 名字空間

    存儲器空間的組織和分配，數(shù)據(jù)的存儲、保護(hù)和檢索都依賴于文件系統(tǒng)。文件系統(tǒng)由文件和目錄組成。數(shù)據(jù)按其內(nèi)容、結(jié)構(gòu)和用途命名成不同的文件，而目錄則構(gòu)建文件系統(tǒng)的層次化結(jié)構(gòu)。現(xiàn)代的文件系統(tǒng)一般都是按樹形的層次架構(gòu)來組織文件和目錄。集群文件系統(tǒng)往往也采用樹形架構(gòu)來構(gòu)造名字空間。然而，當(dāng)數(shù)據(jù)的訪問從樹根走向樹葉的時候，訪問的延遲會相應(yīng)地增加。另外，還有兩個重要的因素導(dǎo)致樹形架構(gòu)不適合于云存儲環(huán)境。第一，樹根本身就是一個單一失效點(diǎn)，而且很容易形成系統(tǒng)的“瓶頸”；第二，樹形架構(gòu)很難在Internet上擴(kuò)展到地理上分布的規(guī)模。另外，層次化結(jié)構(gòu)使得文件的訪問效率不高。每一層目錄都隱藏了它所包含的子目錄和文件，用戶很難知道一個目錄下面到底有哪些文件和子目錄。因此，用戶訪問某個文件時，必須通過層次型的目錄樹結(jié)構(gòu)到達(dá)其保存位置，如果不知道文件保存位置，則必須遍歷整個目錄。因此云存儲只有采用非集中式的名字空間來避免潛在的性能“瓶頸”和單點(diǎn)失效。

    1.2 元數(shù)據(jù)組織

    元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，主要用來反映地址信息和控制信息，通常包括文件名、文件大小、時間戳、文件屬性等等。元數(shù)據(jù)主要是用來管理的操作數(shù)據(jù)。研究表明，在文件系統(tǒng)的操作中，超過50%的操作是針對元數(shù)據(jù)的[10]。元數(shù)據(jù)最重要的特點(diǎn)是其往往是小的隨機(jī)請求。一般來講，元數(shù)據(jù)都是存儲在磁盤上的，然而，和磁盤存儲容量的增長不同的是，由于機(jī)械組件所帶來的延遲，磁盤的平均訪問時間每年的降低不足8%。Hitachi的磁盤在過去10年里磁盤訪問時間和尋道時間的發(fā)展趨勢[12]如圖1所示。對于這種由小的隨機(jī)請求所組成的數(shù)據(jù)訪問流，磁盤的尋道時間是磁盤訪問延遲中最主要的部分。因此，對于大規(guī)模系統(tǒng)來講，元數(shù)據(jù)的訪問往往成為制約整個系統(tǒng)性能的“瓶頸”。

圖1 磁盤訪問時間和尋道時間的發(fā)展趨勢

    很多分布式的存儲系統(tǒng)將數(shù)據(jù)訪問和元數(shù)據(jù)的訪問分離開來。在這樣的系統(tǒng)中，客戶端首先和元數(shù)據(jù)服務(wù)器通信來獲取元數(shù)據(jù)包括文件名、文件位置等信息。然后，利用該元數(shù)據(jù)，客戶端直接和數(shù)據(jù)服務(wù)器通信去訪問相應(yīng)的數(shù)據(jù)。一般來講，元數(shù)據(jù)服務(wù)器的內(nèi)存可以滿足大部分的讀請求，但服務(wù)器不得不周期性地訪問磁盤來讀取需要的數(shù)據(jù)，并且所有元數(shù)據(jù)的更新也要寫回到磁盤。存儲系統(tǒng)空間的增長可以通過增加額外的存儲服務(wù)器來保證。然而，對于一個管理數(shù)以億計的數(shù)據(jù)文件的云存儲系統(tǒng)，保證元數(shù)據(jù)的訪問性能和可擴(kuò)展性比較困難。對于像云這樣的需要高可擴(kuò)展性的環(huán)境，對元數(shù)據(jù)的依賴給系統(tǒng)設(shè)計帶來了巨大的挑戰(zhàn)。

    1.3 能耗與地板空間

圖2 數(shù)據(jù)中心的熱密度趨勢圖

    2005年美國新建立的數(shù)據(jù)中心需要消耗的能量相當(dāng)于加利福尼亞州所消耗能量的10%（大約5GW），需要花費(fèi)大約40億美金。英國的1500個數(shù)據(jù)中心每年消耗的能量和英國第十大城市萊卡斯特所需要的能量相當(dāng)。2010年，英國單個數(shù)據(jù)中心每年在能量上的花費(fèi)達(dá)到大約740萬英鎊。在這些數(shù)據(jù)中心中，存儲系統(tǒng)所消耗的能量達(dá)到了總能耗的27%。另外，消耗的能量除了供各種計算機(jī)組件工作外，還會產(chǎn)生大量的熱量。由于大部分計算機(jī)組件只能在一定的溫度環(huán)境下才能保證足夠的可靠性，因此，還需要額外的能量驅(qū)動制冷設(shè)備。Netapp的調(diào)查表明大型數(shù)據(jù)中心中制冷系統(tǒng)的能耗僅次于服務(wù)器。數(shù)據(jù)中心主要設(shè)備的熱密度趨勢如圖2所示。可以認(rèn)為，數(shù)據(jù)中心的能耗問題處于一個惡性循環(huán)的狀態(tài)。

    另外，由于數(shù)據(jù)的增長導(dǎo)致數(shù)據(jù)中心對新設(shè)備需求的不斷增加，但是數(shù)據(jù)中心的可擴(kuò)展性完全受限于其地板空間。在數(shù)據(jù)中心的空間未擴(kuò)展的情況下，隨著單位地板面積內(nèi)計算機(jī)設(shè)備的不斷增加，傳統(tǒng)數(shù)據(jù)中心的設(shè)備容量必將達(dá)到極限。因此，能耗和地板空間成為當(dāng)前設(shè)計和管理大型數(shù)據(jù)中心所面臨的主要挑戰(zhàn)。

2 云災(zāi)備

圖3 數(shù)據(jù)丟失的原因

    國際上對于IT系統(tǒng)災(zāi)難的定義是指由于人為或自然的原因，造成信息系統(tǒng)運(yùn)行嚴(yán)重故障或癱瘓，使信息系統(tǒng)支持的業(yè)務(wù)功能停頓或服務(wù)水平不可接受，并達(dá)到特定的時間的突發(fā)性事件。雖然數(shù)據(jù)是企業(yè)的命脈，然而在傳統(tǒng)的存儲系統(tǒng)下，數(shù)據(jù)丟失很難避免。數(shù)據(jù)丟失的原因如圖3所示。圖3表示人為因素是導(dǎo)致數(shù)據(jù)丟失的最重要的原因。由于管理員或員工的活動造成數(shù)據(jù)的損失或變更，使數(shù)據(jù)的完整性與真實(shí)性受到影響，如誤刪除、誤格式化或誤分區(qū)、誤克隆等誤操作，系統(tǒng)管理員出錯或蓄意破壞、竊取等等。因此，如果在云計算環(huán)境下，專業(yè)的工程技術(shù)人員將能最大限度地避免由于人為因素所導(dǎo)致的數(shù)據(jù)丟失。然而，設(shè)備和硬件故障所帶來的數(shù)據(jù)丟失則很難避免。例如，硬盤損壞是極為常見的導(dǎo)致數(shù)據(jù)丟失的原因，一般來講，磁盤陣列（RAID）系統(tǒng)能夠一定程度上避免硬盤故障導(dǎo)致的數(shù)據(jù)丟失，如RAID1、RAID5都能夠在一塊硬盤失效后對數(shù)據(jù)進(jìn)行修復(fù)。但在兩塊硬盤失效的情況下，則僅有RAID6數(shù)據(jù)保護(hù)模式能夠保護(hù)數(shù)據(jù)不丟失，而RAID6由于復(fù)雜冗余和校驗(yàn)算法導(dǎo)致系統(tǒng)大量的開銷，一般企業(yè)采用時存在顧慮。另外，大型存儲系統(tǒng)中磁盤的失效往往是具有相關(guān)性的，一塊大容量磁盤失效后要進(jìn)行長時間的重構(gòu)（例如，1TB容量的磁盤重構(gòu)可能需要數(shù)小時），會對系統(tǒng)帶來極高的存儲I/O率，這可能導(dǎo)致另一塊磁盤的失效，從而引發(fā)連鎖效應(yīng)。因此，利用蝴蝶效應(yīng)來描述毫不為過。

    2011年4月，亞馬遜的網(wǎng)絡(luò)服務(wù)經(jīng)歷了長時間斷電，造成停機(jī)等一系列問題，并且影響到了云計算的服務(wù)。在長達(dá)4天的時間里，一些客戶無法使用亞馬遜的存儲服務(wù)，并且會出現(xiàn)網(wǎng)絡(luò)配置錯誤。2011年4月25日，Vmware的Cloud Foundry在發(fā)布13天后連續(xù)兩天發(fā)生服務(wù)中斷事件。第一次是由于某供電柜發(fā)生故障，在停機(jī)持續(xù)了10小時后，故障得到修復(fù)。但在第二天，當(dāng)Vmware的官方工作人員在嘗試實(shí)施先期檢測方案以避免前一天的事故再一次發(fā)生時，導(dǎo)致了新一輪的停機(jī)。2011年8月，都柏林的亞馬遜和微軟的數(shù)據(jù)中心因遭遇雷擊而停電，兩家企業(yè)都經(jīng)歷了數(shù)天才完成修復(fù)。國際最知名的IT企業(yè)也無法保證其IT基礎(chǔ)設(shè)施的24×7×365業(yè)務(wù)連續(xù)性。再者，不可預(yù)測的自然災(zāi)害也會導(dǎo)致數(shù)據(jù)丟失，如日本的廣島地震，中國的汶川地震等。因此，對數(shù)據(jù)進(jìn)行有效的災(zāi)備，并經(jīng)常性的進(jìn)行恢復(fù)演練確保備份的有效性能夠最大程度的降低因?yàn)橛布�故障�?dǎo)致數(shù)據(jù)丟失的可能性，充分得到云存儲用戶的信任。

    2.1 災(zāi)備的技術(shù)指標(biāo)

    在容災(zāi)體系中，人們往往采用恢復(fù)點(diǎn)目標(biāo)（RPO）和恢復(fù)時間目標(biāo)（RTO）這兩個指標(biāo)來衡量容災(zāi)體系的應(yīng)急能力和系統(tǒng)保護(hù)能力。RPO體現(xiàn)為災(zāi)難發(fā)生后，恢復(fù)運(yùn)轉(zhuǎn)時數(shù)據(jù)丟失的可容忍程度。RTO表示需要恢復(fù)的緊迫性也即多久能夠得到恢復(fù)的問題。然而，在設(shè)計一個容災(zāi)系統(tǒng)時，并不意味著RPO和RTO越小越好。因?yàn)橄到y(tǒng)投資會隨著RPO和RTO的降低而增加。因此，最佳的容災(zāi)方案不一定是性價比最好的方案。

    2.2 數(shù)據(jù)備份

    數(shù)據(jù)備份是指為防止系統(tǒng)出現(xiàn)操作失誤或系統(tǒng)故障導(dǎo)致數(shù)據(jù)丟失，而將數(shù)據(jù)集合從應(yīng)用系統(tǒng)中以備份格式存儲到處于離線的存儲介質(zhì)的過程。在數(shù)據(jù)備份過程中，一般采用備份軟件配合磁帶庫的物理介質(zhì)保存系統(tǒng)來進(jìn)行。數(shù)據(jù)備份分為完全備份、差異備份和增量備份。完全備份是指對某一個時間點(diǎn)上的所有數(shù)據(jù)或應(yīng)用進(jìn)行的一個完全拷貝。差異備份則備份自上一次完全備份之后有變化的數(shù)據(jù)。增量備份則備份自上一次備份（包含完全備份、差異備份、增量備份）之后有變化的數(shù)據(jù)。無論哪種模式都完全服從備份計劃的規(guī)定，即在固定的時間點(diǎn)開始備份。

    傳統(tǒng)的備份系統(tǒng)并不保證數(shù)據(jù)的實(shí)時性或近實(shí)時性。而且，備份后的數(shù)據(jù)格式是專用的備份格式，并非應(yīng)用系統(tǒng)中的數(shù)據(jù)原有格局。因此，當(dāng)發(fā)生災(zāi)難時，備份數(shù)據(jù)是不能立即使用的，必須先恢復(fù)。恢復(fù)時要通過格式轉(zhuǎn)換進(jìn)行導(dǎo)回操作，這導(dǎo)致無法保證恢復(fù)的快捷。例如，如果按Th的時間間隔來進(jìn)行增量備份。如果在A時間點(diǎn)發(fā)生了系統(tǒng)故障，那只能回復(fù)到上一個備份點(diǎn)A-T，而且還要進(jìn)行數(shù)據(jù)格式的轉(zhuǎn)換。隨著T的增加和數(shù)據(jù)量的增漲，需要恢復(fù)的時間也隨之線性增漲。因此，指標(biāo)RPO和RTO都會較高，也很難保證IT基礎(chǔ)設(shè)施的24×7×365業(yè)務(wù)連續(xù)性。另外，為了提高RPO，必須提高數(shù)據(jù)備份的頻度。但大多數(shù)情況下，僅僅增加備份的頻度會帶來一系列的問題。例如：應(yīng)用的高峰時段無法進(jìn)行備份操作；備份數(shù)據(jù)所花時間太長。因此，需要有一個契機(jī)和一個新的技術(shù)的誕生，來達(dá)到以用戶為中心的數(shù)據(jù)安全和系統(tǒng)安全的要求。

核心關(guān)注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。

轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://www.guhuozai8.cn/

本文標(biāo)題：云存儲與云災(zāi)備的原理與短板分析(上)

本文網(wǎng)址：http://www.guhuozai8.cn/html/consultation/1083978019.html