1 引言
云存儲是在云計算(cloud computing)概念上延伸出來的一個新的概念。云存儲與云計算類似,它是指通過集群應用、網格技術或分布式文件系統等功能,將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作,共同對外提供數據存儲和業務訪問功能的系統。
目前大多數移動網管系統所有的網管數據都存儲在高性能磁盤陣列上,包括歸檔數據、統計數據、日志、過期話單等一些重要性不高的數據,這些數據按照規定,都需要保存一定時間,需要占用大量的存儲空間。由于網管系統沒有廉價的二級存儲設備,數據不得不存儲在高性能存儲資源上,造成資源浪費的同時,也增加了存儲資源的投資成本。相對傳統的存儲方式,云存儲具有支持超大規模、性能高、虛擬化、通用性強、可擴展和價格低廉等優勢,因此是網管系統的必然發展方向。
2 方案概述
針對移動網管中心數據存儲的現狀,可從提高存儲設備資源利用率、降低存儲整體投資成本的角度出發,借助先進的云存儲技術,為移動網管系統搭建一套完整的云存儲平臺。整個平臺在設計上需考慮以下幾點:
(1)存儲資源的統一管理、調度和維護通過引入自動化管理等技術手段,實現對網管海量存儲數據的集中統一管理、調度和維護,提升網管存儲運營管理質量,縮短應用系統上線時間。
(2)提高存儲資源利用率,降低能耗通過引入虛擬化等技術手段,細化物理資源分配單元,提高系統分布密度,提高系統使用效率,降低對物理設備的需求,進一步降低IT設備投入,降低能耗。
(3)提高系統可靠性,在基礎設施層面提高系統可靠性,為業務系統提供高可用、連續服務的基礎設施平臺。
3 系統架構設計
面向應用的云存儲平臺在設計上需考慮移動網管系統不同業務系統的數據存儲需求,通過建設資源池的方式為多個業務系統提供包括分布式文件系統、分布式對象存儲等多種存儲系統,總體結構如圖1所示。
整體設計架構需滿足以下性能要求:
(1)分層化設計
整個系統分層設計,按照接口層、業務層、存儲層三層架構分別完成相應功能,各層次間相對獨立。各層次通過統一的系統監控進行管理,既保證系統整體性,又便于后期維護。系統各層間無單點失效或性能瓶頸節點。系統可以根據業務流量需求進行單獨擴容。
圖1 網管云存儲系統架構圖
(2)去中心化設計
存儲層采用無中心節點設計,徹底防止單點失效與性能瓶頸。讀寫請求通過分布式哈希算法直接送達存儲節點,無須中轉。元數據與對象數據復合分布式存儲,多備份保證高可靠。
(3)數據高可靠性
存儲數據采用多備份切塊存儲,備份數量與切塊規則可通過配置設定。系統可以自動補充備份故障節點的數據,同時系統內部實現數據的完整性校驗機制。在節點擴容時,系統保有數據可自動遷移,保證各個節點空間的平均利用與負載均衡。
(4)訪問高性能
所有數據采取分布式存儲,并根據節點資源狀態自動實現負載均衡,保證支持高并發的用戶訪問和高吞吐的數據流量。接口服務層也支持高并發的用戶訪問,通過調整接口服務層配置,可以方便地支持高吞吐的數據流并進行服務能力的擴展。
(5)動態線性擴容
支持PB級以上的海量存儲,存儲容量隨節點規模平滑擴容。
3.1 分步式文件系統設計
分布式文件系統可由接口層、業務層、存儲層以及系統管理共同組成。
(1)業務層
業務層用來實現文件、目錄、用戶權限相關的具體功能,具體包含文件訪問、文件屬性、目錄訪問、目錄屬性、ACL認證鑒權等業務模塊。
(2)接口層
接口層為上層用戶應用系統以及資源池管理平臺提供基于NFS、CIFS等符合POSIX標準的文件系統接口;支持多租戶管理及訪問權限設置;為便于應用系統進行開發,為常用開發系統Java及C/C++開發平臺提供API開發包,豐富業務系統開發工具,并實現動態負載均衡。
(3)存儲層
存儲層負責原始數據和元數據信息的混合存儲,具體存儲方式對外部應用透明。
分布式文件系統自帶系統管理平臺,負責對整個分布式文件系統提供自有的系統管理功能,以及安裝配置等輔助工具;包含賬號管理、節點管理、安裝部署、運維監控、告警管理、日志管理和計量統計等功能模塊;同時向資源池系統的統一管理平臺提供運營管理接口。
分布式文件系統向客戶提供文件系統形式的服務,客戶應用可以掛載并使用文件系統。文件系統具有文件與目錄操作、文件訪問以及文件訪問控制功能。
3.2 對象存儲系統設計
基于對象的云存儲系統可由接口層、服務層、存儲層和系統管理模塊構成。
(1)接口層
接口層通過負載均衡和Web服務為用戶應用系統及資源管理平臺提供基于HTTP協議的對象存儲服務。接口層實現對象、容器及用戶相關的具體功能。
1)對象相關功能:包括創建對象、刪除對象、獲取對象、設置對象屬性、獲取對象屬性、獲取對象權限、設置對象權限和對象公開訪問URL設置等功能。
2)容器相關功能:包括創建容器、刪除容器、獲取用戶所有容器、獲取容器中對象、設置容器權限和獲取容器權限等功能。
3)用戶相關功能:用戶相關功能包括認證、鑒權。認證鑒權用于對用戶的身份進行認證,確認訪問用戶的身份,完成認證后基于用戶狀態、配額和權限進行權限確認。
(2)存儲層
存儲層使用基于X86架構服務器集群的分布式存儲系統實現數據的存取,具體存儲方式對外部應用透明。分布式存儲系統提供容器信息、對象內容和對象屬性所需要的存儲空間與相關存儲機制及元數據信息。對象存儲系統自帶監控管理平臺,負責對整個對象存儲系統提供自有的系統管理功能,以及安裝配置等輔助工具;包含了賬號管理、節點管理、安裝部署、運維監控、告警管理、日志管理、計量統計等功能模塊;同時,為其他系統進行整合提供管理接口。
3.3 擴展方案設計
為了滿足移動網管業務的發展,云存儲平臺在處理能力和存儲容量上具備高擴展性尤為重要。
(1)系統擴展方案
存儲系統規模擴展時,可以平滑擴展,無需調整系統架構,且擴展過程中業務不停止,數據無丟失。
進行擴容時,僅擴容存儲服務器節點即可,負載均衡服務器和管理服務器不做增加,僅修改系統配置參數。
擴容時增加存儲節點后,系統可通過后臺管理策略進行必要的數據遷移,通過數據重新平衡以達到系統負載和存儲業務能力均衡;在此過程中,數據業務不會受到任何影響。
(2)軟件擴容升級
系統在設計時,需采用松耦合、模塊化設計,并考慮未來軟件升級和維護的方便。因此,如果增加新的功能,通過增加功能模塊的方式來實現,不影響原有業務系統。如果對系統進行升級及bug修改,支持部分節點逐步升級的方式,可以不影響系統運行和數據完整性。
系統在進行軟件擴展或升級時,只需要增加或更新某個模塊的安裝軟件包,并設置配置文件即可。此操作可以通過系統監控管理平臺,由對象存儲系統管理員在后臺分批對節點進行在線操作。
(3)硬件擴容方案
硬件服務器節點規模支持動態彈性擴容,可以通過增加磁盤、服務器節點等方式,實時對對象存儲容量進行擴充和能力的擴展。
4 結束語
網管網絡是移動IT支撐系統的重要組成部分,網管網絡的優化可實現對移動網絡及運營的有效管理和支撐,提高精細化管理水平。通過云存儲對底層資源進行整合,是實現低成本高效運營的企業戰略的重要策略。
核心關注:拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理,全面涵蓋了企業關注ERP管理系統的核心領域,是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://www.guhuozai8.cn/
本文標題:移動網管系統云存儲解決方案分析