云計算是一種基于網絡的計算模式,云計算提供的服務類型可以分為三類,即將基礎設施作為服務(IaaS)、將平臺作為服務(PaaS)以及將軟件作為服務(SaaS)。Amazon、Google、Salesforc等在世界各地建立龐大的數據中心,實現海量的計算任務和海量信息的存儲,為用戶提供云計算服務,在商業應用上取得了成功。云計算技術的迅速發展帶動了傳統數據中心的變革,產生了新一代數據中心———云數據中心。
云數據中心包含大量計算機,運作成本很高。有效整合資源、提高資源利用率、節約能源、降低運行成本是云數據中心關注的熱點。云數據中心通過虛擬化技術將計算資源、存儲資源和網絡資源構建成動態的虛擬資源池;使用虛擬資源管理技術實現云計算資源自動部署、動態擴展、按需分配;用戶采用按需和即付即用的方式獲取資源。因此,虛擬資源管理成為當前云計算研究的熱點和難點。
1 數據中心的發展
數據中心是信息系統的核心,主要功能是通過網絡向用戶提供信息服務。數據中心的演變經歷了四個階段:
a)數據存儲中心階段。數據中心最早出現在20世紀60年代,采用的是以主機為核心的計算方式,一臺大型主機就是數據中心,如IBM360系列計算機,其主要業務是數據的集中存儲和管理。
b)數據處理中心階段。20世紀70年代以后,隨著計算需求的不斷增加、計算機價格的下降以及廣域網和局域網的普及、應用,數據中心的規模不斷增大,數據中心開始承擔核心的計算任務。
c)信息中心階段。20世紀90年代,互聯網的迅速發展使網絡應用多樣化,客戶端/服務器的計算模式得到廣泛應用。數據中心具備了核心計算和核心業務運營支撐功能。
d)云數據中心階段。進入21世紀,數據中心規模進一步擴大,服務器數量迅速增長。虛擬化技術的成熟應用和云計算技術的迅速發展使數據中心進入了新的發展階段。數據中心承擔著核心運營支持、信息資源服務、核心計算、數據存儲和備份等功能。
由于數據中心規模的擴大和功能的多樣性,隨之出現的問題是數據中心的可靠性以及維護管理的巨大成本。傳統數據中心主要關注應用的穩定性、數據的安全性和運行的可靠性,而對資源的利用率、節能高效等問題考慮較少。云數據中心通過虛擬化技術,一方面可以在硬件服務器上實現多個虛擬服務器,通過應用和故障隔離,提高數據中心的計算能力和可靠性;另一方面能夠整合數據中心的計算資源、網絡資源和存儲資源,并將它們動態地分配給虛擬機,實現數據中心資源的動態部署,提高資源利用率,減少能耗。與傳統的數據中心相比,云數據中心具有資源共享、資源動態調整、綠色環保、高自動化和高可用性的特點。
2007年,全球首個虛擬化數據中心———Sun公司的黑盒子面世,該數據中心可以容納200多臺Sun服務器。IBM2008年推出了便攜式模塊化數據中心PMDC;惠普公司2010年推出了性能優化數據中心POD;思科公司2010年推出了統一計算系統UCS,集中統一管理計算、網絡、存儲等虛擬化資源。Google數據中心采用標準的集裝箱設計,每個集裝箱可以容納1000多個服務器,并配備了冷卻系統。芝加哥數據中心是微軟最大的數據中心,占地面積70萬平方英尺,集裝箱里放置著微軟云計算產品的重要組件,每個集裝箱都存放了上千臺服務器,為微軟的云計算提供服務。
云計算技術是在網絡技術和Web應用技術的推動下產生的網絡計算模式。2006年,Amazon發布了簡單存儲服務S3;2007年,Salesforc.com公司推出了SaaS服務,客戶可以根據需要訂購軟件應用服務,按服務多少和時間長短支付費用;2007年,Google推出了GoogleDocs在線辦公服務,2008年推出GoogleAppEngine程序開發平臺,將平臺作為一種服務提供給用戶。IBM于2007年推出了藍云計算平臺,為客戶帶來即買即用的云計算平臺,它包括一系列虛擬化軟件,使來自全球的用戶可以訪問云計算的大型服務器資源池。微軟2008年推出了WindowsAzure藍天操作系統,基于互聯網架構,打造新的云計算平臺,將微軟所擁有的數以億計的Windows用戶和桌面接到云中。目前,成功的云計算應用實例還有GoGrid、Joy-ent、MapReduce、AneKa以及Animoto等。
虛擬化概念及技術起源于20世紀50年代。20世紀60年代,IBM360系統首次采用了虛擬化平臺Hypervisor。IBM、VMare、Xen/Citrix和Miroosoft是虛擬化業界的四大廠商,他們提供了成熟、多方位、廣泛的虛擬化產品,實現了從服務器、存儲、網絡到桌面、應用、甚至數據中心的虛擬化。
數據中心的發展與云計算技術的演進、虛擬化技術的成熟應用是密切相關、相互促進的;數據中心的發展離不開計算機技術、網絡技術、云計算技術的發展,云計算技術是在網絡技術的廣泛發展、虛擬化技術的日益成熟以及網絡應用需求的推動下產生的,虛擬化技術一直伴隨著計算機技術、網絡技術和數據中心的發展,實現了不同層面的虛擬化。上述相關領域技術的發展如圖1所示。
圖1 數據中心及相關技術發展
云數據中心是未來數據中心建設和發展的方向,實現云數據中心的關鍵技術———虛擬資源管理已成為目前研究的熱點和難點。深入研究虛擬資源的管理有利于設計與實現高效的云數據中心系統,提高云數據中心資源利用效率、系統可靠性,降低運行管理成本。本文從虛擬資源提供與部署、虛擬資源調度、虛擬機遷移等角度,針對當前相關研究缺少系統總結的情況,較全面地概括、分析了虛擬資源管理技術的研究現狀。
2 虛擬資源提供與部署
云數據中心資源管理的特點是統一部署,集中管理,分布使用。在資源虛擬化技術的基礎上,采用各種技術實現資源的自動部署、集中監控、動態優化、節能低耗等功能。
2.1 資源虛擬化
數據中心硬件設備之間的差異導致兼容性很差,為統一的資源管理提出了挑戰。資源的抽象和虛擬化是屏蔽資源差異、建立虛擬計算環境的基礎。iVCE虛擬計算環境針對資源多樣性、自主性帶來的訪問方式不一致問題,深入研究了資源虛擬化模型與方法,提出了具備環境動態感知和自主行為決策特征的自主元素資源抽象模型[1]。文獻[2]通過虛擬化實現虛擬集群系統,消除系統軟件與硬件之間的耦合,實現集群的快速部署和快速切換,并獲得了明顯的性能優勢。云數據中心通過虛擬化技術構建虛擬資源池來實現對大規模基礎資源的有效、統一管理,然后將計算任務分布在大量動態、可擴展的虛擬資源池上,用戶按需獲取計算能力、存儲空間和信息服務。
虛擬化技術屏蔽了低層物理設備的差異,對云數據中心的低層架構進行抽象,從而實現資源的統一管理。IBM的TPM(tivoli provisioning manager)是數據中心實現資源虛擬化管理的核心產品,可以自動完成服務器、存儲器、網絡設備、操作系統、中間件、應用程序的部署和配置。通過實現從低層硬件、系統的虛擬化到存儲、網絡的虛擬化,使數據中心的IT資源成為一個虛擬的資源池,可以按照一定的粒度來實現資源分配。VMware的數據中心產品VMwareInfrastructure虛擬化軟件套件能提供虛擬化基礎架構、應用程序和管理等多種服務。其中,ESXServer能整合數據中心的計算、存儲和網絡資源,構建動態虛擬資源池。微軟公司的虛擬化集成管理軟件是SystemCenter。其中,VirtualMachineManager能管理數據中心的基礎架構,包括服務器以及虛擬機,實現平臺中虛擬化資源的動態優化。浪潮云海·云計算操作系統架構于服務器、存儲、網絡等基礎硬件資源之上,通過基于Xen平臺的虛擬化技術,構建計算節點、存儲節點,形成動態虛擬計算資源池、存儲資源池和網絡資源池,實現了資源的有效監控、動態流轉與伸縮,以IaaS的模式為用戶提供云計算服務。
2.2資源提供策略
云數據中心的功能涉及到很多方面,如數據中心內部的網絡結構、存儲架構、資源模型、資源發現、資源提供、虛擬機部署、調度策略、資源狀態監測評估、能耗管理、數據安全以及QOS支持等。資源管理系統的基本功能是接受來自云計算用戶的資源請求,并且把特定的資源分配給資源請求者,合理地調度相應的資源,使用戶請求資源的任務得以運行。云數據中心資源管理系統提供四種基本的服務,即資源發現、資源監控、資源存儲和資源調度。資源發現在數據中心發現適合用戶應用的虛擬資源,能自動發現和應用虛擬資源與物理資源之間的關聯;資源監控能自動監測基礎硬件資源的狀態、性能;資源調度采用不同策略,把所需資源分配到相應的用戶任務上。虛擬資源的提供和虛擬機資源的部署是資源管理的基礎[3~7]。典型的云計算資源提供策略包括基于租借理論和動態多級資源池的策略、基于經濟學原理的資源提供策略、基于一般優化算法的資源提供策略以及基于隨機整數規劃的最優資源提供策略。
a)基于租借理論和多級資源池的云計算資源提供。文獻[8]基于云計算的虛擬化技術,提出了一種租借理論和動態多級資源池相結合的資源調度策略,將資源虛擬化成多個槽(slot),根據資源的某個共同的特性將資源歸類,形成資源池,并建立多級資源池。其中有一個資源池充當服務器,提供與云外面的交互、維護資源池負載平衡以及分配任務等服務,同時,結合共享策略、私有策略、借還策略和重聲明策略完成對資源的調度。文獻[9]提出一種面向虛擬資源的云計算資源管理機制,通過資源劃分和資源預留策略來實現對虛擬資源的分配,確保用戶對虛擬資源使用的有效性,并提出一種借入/借出調度策略來實現虛擬資源利用率的最大化。
b)基于經濟學的云計算資源提供策略。文獻[10,11]從經濟學原理的角度出發,提出了云計算經濟學架構,設計了基于QOS的云資源管理經濟模型。依據經濟學的理念,云計算環境被視為一個云市場,資源被視為商品,多個計算云、存儲云抽象為資源提供者,云計算用戶被視為資源的消費者。該策略為云消費者和供應商提供有關經濟激勵的反饋,提高資源利用率,有助于實現云計算環境下資源的高效管理、優化配置,同時最大限度地滿足用戶服務質量需求。但是此策略是從經濟學角度出發,并沒有為節省客戶花費提供相關的策略,也沒有考慮資源和價格的動態性。
c)基于隨機整數規劃的最優資源提供策略。文獻[12~14]使用隨機整數規劃優化資源提供方法。在云計算中,云提供商可以有兩種方式給用戶提供資源[15],即預訂方式和即付即用方式。預訂方式可以有效減少用戶的花費,但是因為用戶需求和資源價格的不確定性,完全通過預訂方式獲取資源是很難達到用戶的要求。使用啟發式方法[16]或K-鄰近算法[17]可以對用戶所需資源進行預測。該策略提供一個動態的資源提供方案來滿足客戶的需求,考慮了資源提供各個階段的資源花費,能達到用戶資源花費最小化的目的。
2.3 虛擬機部署
資源快速部署是數據中心的一項重要功能需求。云計算數據中心采用虛擬化技術后,資源管理的一個重要功能就是構建虛擬的資源池,將虛擬機部署在不同的物理機上,實現對大規模基礎資源有效、統一的管理。云計算環境對虛擬機部署的要求較高,目標是高效快速、節能低耗、均衡負載,充分提高計算資源、存儲資源以及網絡資源的利用率。虛擬機部署是一個復雜的問題,一方面,在云環境中資源和應用不僅變化范圍大而且動態性高,用戶所需服務主要采用按需部署方式;另一方面,不同云數據中心、不同層次云計算環境中服務的部署模式是不一樣的,部署過程所支持的軟件系統形式多樣,系統結構各不相同,部署策略具有多樣性。
a)基于網絡的虛擬機部署策略 云數據中心的各個物理機上的虛擬機要進行頻繁的數據通信,因此在考慮應用進程性能時,要加入網絡帶寬、延遲等因素。而傳統的虛擬機部署主要是考慮效率和計算資源的利用率,沒有從網絡方面考慮。文獻[18]提出一種基于網絡的虛擬機部署策略,能達到虛擬機之間數據傳輸時間的最小化目的,從而實現整個應用性能的優化。
b)基于約束滿足問題的虛擬機部署策略 文獻[19]使用約束滿足問題對虛擬機部署進行建模,約束條件為用戶的服務等級協議,目的是最大化節省能量。其實現思想是最大化空閑物理機數,通過關閉空閑物理機來節省能量。文獻[20,21]采用動態虛擬機部署方案,約束條件為滿足用戶的SLA需求。但使用約束滿足問題很容易引入額外的應用約束,如搭配約束和同類約束等。
c)基于容錯機制的虛擬機部署策略 采用虛擬化技術之后,主機服務器系統[22]的失敗是一個需要考慮的問題。由于虛擬機是基于主機服務器的物理設備和虛擬化平臺,所以當主機服務器失敗時,所有運行在其上的虛擬機也不能幸免,因此需要制定一個針對此問題的對策。文獻[23]提出使用冗余配置虛擬機的方法,該方法根據應用程序所需的性能,評估所需的最少虛擬機數量,然后決策出一個最優虛擬機部署,將任意K個主機服務器失敗所造成的影響最小化。
3 虛擬資源調度
資源調度是根據一定的資源使用規則,在不同資源使用者之間進行資源調整的過程。不同資源使用者對應著不同的計算任務,每個計算任務在操作系統中對應于一個或多個進程。資源調度的目的是將用戶任務分配到合適的資源上,使得在滿足用戶需求的前提下,任務完成時間盡量小,且資源利用率盡量高。資源調度最終要實現時間跨度、服務質量、負載均衡、經濟原則最優的目標。由于不同廠商架構的云基礎設施不同,資源的管理和調度沒有統一的國際標準,基于各種調度基礎設施和調度模型的調度算法很多[24]。
3.1 資源調度模型
文獻[25]將任務調度模型分為應用模型、計算平臺模型和性能目標模型。應用模型涉及如何將應用劃分為任務、如何考慮任務的屬性特征等,典型的任務模型有依賴任務模型DAG、獨立任務模型IND以及可分任務模型DLM;計算平臺模型是對系統中資源的抽象,其中最重要的資源是處理機資源和網絡資源;性能指標模型可以分為基于系統的目標和基于用戶的目標兩類,基于系統的性能模型關注整個系統的吞吐量、資源利用率、效率和公平性,基于用戶的性能指標包括應用的最短完成時間、周轉時間、平均延遲和帶權完成時間等。
資源管理調度模型按照調度實體之間的關系可以分為統一資源代理調度模型和多資源代理調度模型[24]。按照資源的組織調度形式可分為集中調度模型、層次調度模型和非集中式調度模型[7]。在集中式的環境中,所有的資源由一個中央調度程序調度,所有可用系統的有關信息被聚集在中心機上。在層次式的調度模型中,有一個集中式的調度程序,作業被提交到集中的調度程序,而每一個資源使用一個獨立的調度程序用于本地的調度。此結構的主要優點是采用不同的策略用于本地和全局的作業調度。在非集中式系統中,分布式的調度程序交互作用并且將作業提交到遠程系統中,單個組件的失效不會影響整個云計算系統,容錯和可靠性更高。但由于一個并行程序的所有部分可能被分配在不同域的資源上,不同的調度程序必須同步作業并且保證同時運行,這使得調度系統的優化相當困難。
資源管理調度模型按照體系結構不同,可分為層次模型、抽象所有者模型(AO)以及市場經濟模型。層次模型將管理系型。層次模型將管理系統分為若干功能層,有利于對具有站點自治性和底層異構性資源進行管理,能在一定程度上實現資源的聯合分配,具有較強的適用性。抽象所有者模型使用作為資源所有者的資源經紀人與用戶進行交互和協商。資源共享過程中遵循類似于快餐店的訂購與交貨模式。計算經濟模型綜合了層次模型和抽象所有者模型的核心特征,既可以利用層次模型中相對成熟的技術,又明確強調了以經濟為基礎的資源管理和調度。基于供求原則的投資回報機制,促進了計算服務質量的提高和資源的升級,經濟是調節供求關系的最重要的機制,為訪問網格資源的用戶提供公平的價格機制,并允許對一切資源進行交易。建立以用戶為中心而不是系統為中心的調度政策,提供了資源分配和管理的有效機制[25]。
3.2 資源調度算法
針對不同的資源調度模型,許多學者都提出了各自不同的算法,根據算法的目標函數,較典型的有時間最優算法、代價最優算法和時間代價最優算法[26,27]。時間最優算法的出發點是盡量快地在預算范圍內完成任務,針對每個資源,考慮到以往分配的任務和完成率,估算一個任務的完成時間,再依據完成時間對資源按升序排序,再從隊列中依次取出資源。如果該任務的成本小于或等于該任務的預算,則分配該任務給這個資源。代價最優算法盡量以最小的花費在完成期限內完成任務,基本思想是首先給資源按價格升序排序,對隊列中的每個資源,在不超過完成期限的范圍內分配盡可能多的任務。時間代價最優算法結合了以上兩個算法的優點,在不增加額外處理成本的情況下,最優化處理時間。
考慮算法的不同調度策略和目標函數,按照不同標準可以對資源調度算法進行多種分類:a)傳統的調度算法,如輪循調度、最小連接調度、目標地址散列調度、源地址散列調度等,但算法簡單,性能不佳;b)啟發式調度算法,由于資源調度因素復雜,通常采用啟發式方法,根據調度算法的運行時間,啟發式映射算法可以分為靜態映射和動態映射,動態調度算法分為在線模式和批模式,典型的在線模式啟發是算法有MCT、MET、SA、KPB、OLB等,典型的批模式啟發算法有minmin算法、maxmin算法、快速貪心算法、貪吃算法、忍耐算法和老化算法等;c)基于經濟學模型的調度算法,以經濟學中的商品市場模型、標價模型、議價模型、招標/合同網模型、拍賣模型等為基礎,分別采用代價最優、時間最優或時間代價等目標函數,實現最優資源調度;d)基于agent的調度算法的資源調度將每個資源節點封裝成一個agent,資源管理系統成為一種多層次Agent系統的集合,調度問題被簡化成如何在各Agent之間匹配計算任務并隨時根據Agent的變化情況進行調整,以及在agent內如何進行子任務的繼續分配的問題;e)基于任務的性質及任務之間的相關性,調度算法可以分為獨立任務調度算法、可分任務調度算法、依賴任務調度算法以及多維QOS要求及負載均衡的任務調度算法[25];f)基于博弈論的資源調度算法,博弈論是經濟學中的重要理論方法,由于資源分配與社會經濟活動的相似性,博弈論也廣泛地應用到資源分配研究中;g)其他的調度算法,除以上介紹的資源調度算法之外,還有一些改進和綜合的調度算法如基于信任模型的可信資源調度、任務依賴調度算法、多維QOS要求調度算法、負載均衡的調度算法、基于能耗的資源調度算法等[24,25]。
云資源調度算法可以借鑒網格計算和分布式計算中的研究成果,并關注云計算資源調度的特點。云數據中心資源調度的特點是:資源虛擬化和面向用戶的調度性能優化。虛擬機的出現使得所有的計算任務都被封裝在一個虛擬機內部。由于虛擬機具有隔離性,可以采用虛擬機的動態遷移技術來完成計算任務的遷移,實現資源優化。在傳統的分布式計算環境中,資源均為無償免費的,系統整體性能最優往往是調度的最優化目標。云計算環境中,云服務提供商提供資源和服務,用戶按需付費,只需要為使用的資源或服務付費。因此,云環境中的調度問題必須考慮任務執行的成本約束。此外,與成本相關的如任務完成時間、賠償率以及用戶付費等因素,也是云計算調度問題中需要考慮的重要約束條件。傳統分布式環境中,調度的優化目標均是以系統為中心,主要面向系統性能,如系統吞吐量、CPU利用率等,而對用戶的QOS需求考慮較少。云計算環境中不僅注重資源利用率及系統性能的提高,而且重視保證用戶的QOS需求,以實現資源供給與資源消費的雙贏局面[28]。
4 虛擬機遷移
系統虛擬化技術是一種重要的虛擬化技術,具有跨平臺、隔離性強、可移動等特點。云數據中心的資源以虛擬機的形式提供給用戶,實現資源的動態切割和分配,用戶通過虛擬機執行任務。由于云數據中心的虛擬機數量眾多,而且虛擬機數量和虛擬機的負載會隨用戶和應用的需求而經常變化,靜態的資源分配往往會使虛擬機產生資源浪費或資源不足的情況,而人工的動態資源調整會有明顯的滯后性,因此虛擬機資源需要進行動態調整。虛擬機實時遷移一般運用在虛擬環境中。所謂虛擬機的動態遷移,是指虛擬機在不關機、且能持續提供服務的前提下,從一臺虛擬平臺服務器遷移到其他的虛擬平臺服務器運行,目前Citrix、VMware以及微軟等幾家主要的虛擬平臺廠商都提出了自己的虛擬機動態遷移技術。
數據中心通常包含大量計算節點,并且經常會出現節點失敗的情況,因此,虛擬機的失效是一種常態。通過虛擬機實時遷移,無縫地將虛擬機從失效的物理機轉移到穩定的物理機上,快速部署新節點來代替失效的節點,實現故障隔離,確保計算環境的可用性非常重要。此外,虛擬機實時遷移技術可以從以下兩個方面考慮。
4.1能量優化
在云數據中心,大量時間里物理服務器處于空閑狀態。為節省能量,采用實時動態遷移技術將任務從空閑物理機遷出,關閉空閑的服務器或將服務器置于節能休眠狀態,實現節省能耗的目的。
文獻[26]提出了一種虛擬機在線遷移方法,該方法能最小化遷移過程中的虛擬機停機時間,保證數據的一致性和完整性。Sandpiper系統[29]提出了基于黑盒方法和灰盒方法的云數據中心資源監控方法,它能自動監測和探測熱點,并通過虛擬機遷移完成新的物理資源到虛擬資源的映射,消除系統熱點。
4.2負載均衡
空閑物理機處于低負載狀態或過載時,可以通過負載重分配和遷移,動態關閉和重啟物理機,實現負載均衡,獲得更高的系統效率。
文獻[27]針對虛擬機集群資源負載不平衡的問題,基于虛擬機遷移技術,提出了一種虛擬機集群資源調度策略,為虛擬機中的應用提供透明的資源調度,并使虛擬機集群達到負載平衡和節能的雙重目標。文獻[30]實現了一種在虛擬機集群模式下基于動態資源分配原則的一種負載均衡方案,實時監測虛擬機和物理機的資源使用情況,然后對運行在同臺物理機上的虛擬機進行資源的重新分配,達到本地虛擬機的負載均衡;而在物理機之間進行虛擬機的熱遷移,達到全局的負載均衡。它優化了虛擬機資源的分配,實現了虛擬機集群的全局負載均衡。文獻[18]提出一種虛擬機動態遷移框架,實現云計算環境中資源的實時監控,自主發起動態遷移;而且能夠在不同類型的虛擬機監控器間進行虛擬機的動態遷移,提高動態遷移的靈活性,同時保證遷移過程中虛擬機的SLA。
上述云數據中心所涉及的虛擬資源管理技術如圖2所示,分為資源提供、虛擬化機部署、資源調度和虛擬機遷移四個部分。
圖2 云數據中心虛擬資源管理技術
5 結束語
云計算數據中心通過虛擬資源管理技術,可以實現資源的自動部署、動態優化、節能低耗,提供用戶滿意的云計算服務。隨著云計算技術的產業化,云數據中心如何降低系統運行成本,以經濟的價格為用戶提供優質服務,是增強市場競爭力的關鍵。
本文主要研究了云數據中心虛擬資源管理的關鍵技術:資源虛擬化、資源提供、虛擬機部署、資源調度以及虛擬機遷移。在虛擬資源管理方面,今后有待進一步研究的內容主要包括:
a)多階段的動態資源分配。由于用戶使用云資源可以采用資源預約、即用即付等多種方式,數據中心資源提供的實施將分為不同階段。由于資源的需求具有不確定性,需要考慮在用戶需求的動態不確定性情況下,如何提高云數據中心的收益和資源利用率。
b)QOS約束問題。云應用呈現的多樣性使得云用戶對服務質量的需求不同。如何為用戶提供不同SLA的云應用服務,建立SLA度量、監測、懲罰機制,確保滿足用戶的QOS需求。c)多數據中心的資源分配問題。通過將多個不同廠商、企業的數據中心聯合起來,建立更大范圍的動態伸縮資源池,擴展資源提供能力是有待進一步研究的問題。
核心關注:拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理,全面涵蓋了企業關注ERP管理系統的核心領域,是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://www.guhuozai8.cn/
本文標題:云數據中心虛擬資源管理與虛擬機部署
本文網址:http://www.guhuozai8.cn/html/consultation/1083972426.html