1 引言

    傳統(tǒng)電信企業(yè)的系統(tǒng)建設過程中，由于需求變化快速、系統(tǒng)數(shù)量巨大，系統(tǒng)建設往往按照各自應用需求來評估、采購、建設、維護各個應用獨立的主機、存儲、網(wǎng)絡、數(shù)據(jù)庫、應用服務器等資源，從而導致了豎井式或煙囪式的多套獨立的系統(tǒng)，這種建設方式帶來了大量的問題。

    ·項目建設周期漫長，難以快速滿足市場需求。

    ·購買了大量不需要的處理能力。系統(tǒng)前期很難準確估算業(yè)務量和需要采用怎樣的數(shù)據(jù)庫資源支撐，導致某些系統(tǒng)的數(shù)據(jù)庫長期處于非常空閑的狀態(tài)，浪費了投資。

    ·缺乏集中管理和安全性保護。由于每個系統(tǒng)獨立建設，每個系統(tǒng)的可用性、安全性都依賴于SI單獨實現(xiàn)，規(guī)劃復雜，實施難度大，導致較大的系統(tǒng)管理和安全性漏洞。

    ·難以隨著業(yè)務需求的變化調(diào)整數(shù)據(jù)庫資源。存在平時大量資源利用率普遍偏低和業(yè)務高峰值時資源不足的矛盾。例如，在中國移動通信集團公司某分公司負責建設和運維的增值業(yè)務中，有數(shù)十個獨立的數(shù)據(jù)庫平臺，“139說客”的核心數(shù)據(jù)庫服務器的平均CPU負荷長期在60％以上，而峰值可以長達24h超過90％，帶來了很大的系統(tǒng)運行質(zhì)量的隱患。也可能由于負荷高影響了業(yè)務響應時間，導致客戶感受的受損。反之，也有不少數(shù)據(jù)庫主機長期平均負荷在5％PA下，甚至持續(xù)看不到任何負載，造成了投資上的浪費。

    因此，亟需打破原來這種煙囪式的建設方式，隨著云計算技術的逐漸成熟和完善，通過云計算技術實現(xiàn)系統(tǒng)資源的共享、動態(tài)調(diào)整和按需分配，成為電信企業(yè)未來主要的探索方向。計算基礎設施的發(fā)展如圖1所示。

    從電信企業(yè)系統(tǒng)運行情況來看，其核心的服務器和存儲資源的50％1：A上是作為數(shù)據(jù)庫平臺部署的，所以如何實現(xiàn)電信級對數(shù)據(jù)庫云平臺的靈活部署，既可以實現(xiàn)“大分小”式，又可以實現(xiàn)“小合大”式的應用部署，對電信企業(yè)運營商而言極為重要。

圖1 計算基礎設施的發(fā)展

2 云計算背景知識

    2．1云計算概念

    NIST對云計算的定義：云計算模型能以按需方式，通過網(wǎng)絡方便地訪問云系統(tǒng)的可配置計算資源共享池(如網(wǎng)絡、服務器、存儲、應用程序和服務)，同時以最少的管理開銷及與供應商的交互，迅速配置提供或釋放資源。

    云計算是網(wǎng)格計算(grid computing)、分布式計算(distributed computing)、并行計算(paraUel computing)、效用計算(utility computing)、網(wǎng)絡存儲技術(network storagetechnology)、虛擬化(virtualization)、負載均衡(10adbalance)等傳統(tǒng)計算機和網(wǎng)絡技術發(fā)展融合的產(chǎn)物。

    2．2云計算的服務模式

    云計算是以服務的形式提供IT化能力。云計算所提供的服務形式可以分為IaaS(infrastructure as a service)、PaaS(platform 8．8 a service)、SaaS(softwal'e as a service)，如圖2所示。

    IaaS主要關注基礎設施(即硬件)虛擬化、資源共享、資源調(diào)配等硬件服務能力的提供，如果面向系統(tǒng)建設考慮，仍然需要進一步部署相應的平臺軟件(數(shù)據(jù)庫、中間件等)和應用軟件，所以IaaS層提供的云服務管理粒度只在硬件層面，對平臺軟件和應用軟件的部署和管理幾乎沒有涉及。

圖2云計算的3種服務模式

    在提供云服務的過程中，硬件作為基礎設施層，仍然需要承載平臺和應用軟件能力，所以大部分企業(yè)更多地關注業(yè)務層面的平臺軟件方面的服務化，即PaaS層服務能力。IOUG對企業(yè)客戶云計算服務的關注調(diào)查如圖3所示。

    PaaS層主要關注提供平臺軟件的服務能力(如數(shù)據(jù)庫、中間件等)，所以實現(xiàn)PaaS層服務模式，可以有兩種技術選擇：一種是基于laaS層提供的硬件基礎設施，再通過PaaS管理平臺來部署和管理平臺軟件服務：另一種是直接通過一體化的解決方案來實現(xiàn)軟、硬件的統(tǒng)一管理、部署、資源分配和回收。前一種方式存在管理的復雜性、兼容性問題，甚至還可能存在嚴重的性能瓶頸和整體運行風險的問題。如中國移動通信集團公司廣東分公司(以下簡稱廣東移動)在基于x86服務器上通過虛擬化技術來實現(xiàn)Iaas層資源池，再部署Oracle數(shù)據(jù)庫和業(yè)務應用，通過實際測試發(fā)現(xiàn)，性能損耗超過40％，而且還存在OracleRAC數(shù)據(jù)庫沒有在VMWare平臺得到廠商官方支持的問題，一旦遇到系統(tǒng)問題，診斷、解決時都存在很大的潛在運行風險。

圖3 IOUG對企業(yè)客戶云計算服務的關注調(diào)查

    通過軟硬件一體化PaaS層云服務。形成共享資源池，同時提供平臺級軟件能力，然后按照各個應用需求在PaaS資源池中申請硬件資源、獲得軟件服務的方式，不斷部署不同的業(yè)務應用，實現(xiàn)系統(tǒng)的集中化整合。這樣可以有效節(jié)省計算和存儲資源、機房空間、耗電和配套設施、人力維護成本，提高系統(tǒng)的可靠性、擴展能力、計算能力，避免出現(xiàn)業(yè)務要求和系統(tǒng)支撐能力不匹配的問題。

3 電信級數(shù)據(jù)庫云平臺理想架構和最佳實踐

    3．1 電信級PaaS數(shù)據(jù)庫云平臺的理想架構

    根據(jù)以上分析，從效率、管理、集成、兼容性角度來看，實現(xiàn)數(shù)據(jù)庫云平臺的最佳方式是軟、硬件一體化PaaS平臺解決方案。而PaaS云一體化解決方案需要從4個主要方面考慮。

    ·構建可不斷堆疊、可線性擴展、分布式的服務器資源池：

    ·構建可不斷堆疊、可線性擴展、分布式的存儲資源池：

    ·構建服務器與服務器之間、服務器與存儲之間的高速互聯(lián)網(wǎng)絡：

    ·構建軟硬一體化、統(tǒng)一的云管理和云治理平臺。

    由于在電信系統(tǒng)中，數(shù)據(jù)庫呈現(xiàn)多元化和混合型特點。既有大量的小規(guī)模數(shù)據(jù)庫，如增值業(yè)務系統(tǒng)、政企客戶系統(tǒng)等，也有很多超大規(guī)模數(shù)據(jù)庫，如計費、CRM、話務網(wǎng)管等；既有OLTP為主的系統(tǒng)，如CRM、呼叫中心等，也有很多以OLAP型為主的系統(tǒng)，如數(shù)據(jù)倉庫、數(shù)據(jù)集市等，還有很多OLTP和OLAP混合型系統(tǒng)，如結算、賬務、網(wǎng)管等，既有以本地區(qū)為主導的系統(tǒng)，又有全國型集中化的系統(tǒng)。所以對數(shù)據(jù)庫云平臺的要求也呈現(xiàn)出一定的電信級要求。

    ·靈活的資源分配和管理能力，可以同時支持“大分小”和“小合大”兩類要求。

    ·混合型數(shù)據(jù)庫架構，既可以支持“數(shù)據(jù)庫集群”型的OLTP交易，又可以支持“數(shù)據(jù)庫集群”型的OLAP處理。

    ·極高的處理性能，保證數(shù)據(jù)庫云平臺可以支撐大量數(shù)據(jù)庫應用。

    ·極高的擴展能力，保證數(shù)據(jù)庫云平臺可以不斷地線性擴展。

    ·極高的可靠性，保證業(yè)務的連續(xù)性。

    ·高性價比、低能耗。

    ·完善、統(tǒng)一、可視化的管理能力。

    滿足電信級數(shù)據(jù)庫PaaS云平臺要求的理想架構，需要軟件和硬件的有機結合來構成，每個組成部分既需要硬件能力，也需要軟件特性配合來實現(xiàn)整體目標。

    3．1．1計算資源池

    從硬件來看，這一部分是運行數(shù)據(jù)庫的主要部分，需要實現(xiàn)低成本化堆疊、分布式網(wǎng)格計算能力，所以需要多服務器、多CPU協(xié)同、網(wǎng)格集群化的運行環(huán)境。為了實現(xiàn)這個目標，利用低成本的x86架構的多服務器堆疊，配合共享磁盤架構數(shù)據(jù)庫集群是最理想的架構，因為多臺x86架構可以提供低成本、快速的擴展能力，但與小型機相比。x86架構的可靠性不夠，可以通過共享磁盤架構的數(shù)據(jù)庫集群來提高整體運行的可靠性，同時能夠發(fā)揮多服務器的分布式并行處理能力。

    從軟件來看。計算資源池要求能夠?qū)�資源進行靈活的分配和管理，既可以將一個服務器的部分資源分配給一個特定應用，即“大分小”，也可以將多個服務器資源整合成為一個應用。即“小合大”。同時還能夠在資源池內(nèi)部和外部按照需要動態(tài)調(diào)整原有分配的資源關系，EtCH隨需增加或減少一個應用服務所占的CPU、內(nèi)存等。

    3．1．2存儲資源池

    從硬件來看，作為數(shù)據(jù)庫的存儲部分，具備低成本、分布式并行特點，可以通過多個小的存儲單元堆疊方式不斷地進行線性擴展，構成大規(guī)模存儲資源池：同時作為數(shù)據(jù)庫存儲，需要具備大容量的多級緩存機制，使得數(shù)據(jù)庫中的熱點數(shù)據(jù)可以通過緩存來提高處理性能；另外隨著數(shù)據(jù)量的不斷增加，存儲單元需要具備足夠的CPU和計算能力，參與到數(shù)據(jù)的預處理過程中來，以減輕數(shù)據(jù)庫服務器所需處理的數(shù)據(jù)量。

    從軟件來看，由于電信企業(yè)數(shù)據(jù)規(guī)模的不斷增加，特別是網(wǎng)絡運維應用包含大量的網(wǎng)元數(shù)據(jù)，需要存儲具備較高的數(shù)據(jù)壓縮比，以節(jié)省存儲空間，另外存儲側(cè)可以通過并行化的方式對數(shù)據(jù)進行預分揀和預過濾，提高數(shù)據(jù)的處理效率。

    3．1．3網(wǎng)絡互聯(lián)

    在數(shù)據(jù)庫云平臺方面，需要采用大量的主機集群及存儲集群，為了讓這些集群能夠發(fā)揮最佳的效果，必須使用效率最高的內(nèi)部網(wǎng)絡把它們連接起來，目前比較成熟的網(wǎng)絡技術主要有萬兆以太網(wǎng)以及Infiniteband，如圖4所示。這兩種技術都可以提供高速的內(nèi)部連接，用來實現(xiàn)主機之間的集群連接、存儲單元之間的互聯(lián)以及主機到存儲單元之間的數(shù)據(jù)連接。

圖4 網(wǎng)絡互聯(lián)技術

    3．2符合電信級PaaS數(shù)據(jù)庫云平臺要求的最佳實踐

    從目前實踐來看，要符合電信級數(shù)據(jù)庫PaaS云平臺的要求，Oracle的Exadata數(shù)據(jù)庫云服務器是一個理想選擇。

    3．2．1分布式服務器資源池

    Exadata數(shù)據(jù)庫云服務器可以通過整合多服務器的計算資源，形成一個巨大的資源池，許多不同的數(shù)據(jù)庫可運行于同一Exadata數(shù)據(jù)庫機器上。

    DB服務器通過共享配置方式使不同數(shù)據(jù)庫應用運行在指定的資源范圍內(nèi)，可以通過Service的方式實現(xiàn)數(shù)據(jù)庫服務的虛擬化，應用以Service的方式連接并運行于一個或多個動態(tài)的數(shù)據(jù)庫節(jié)點上，可以動態(tài)地增長、回收和移動。通過Service虛捌化可以實現(xiàn)“大分小”和“小合大”的虛擬化應用。

    ·大型數(shù)據(jù)庫可通過RAC技術跨越多個物理節(jié)點；

    ·多個小型數(shù)據(jù)庫可以通過共享運行于同一個物理節(jié)點。

    對于多個數(shù)據(jù)庫運行于同一節(jié)點的情況，實例綁定(instance caging)技術提供可預知的CPU核心資源，可限制數(shù)據(jù)庫運行于特定的處理器的子集上，如圖5所示。

    通過數(shù)據(jù)庫虛擬化和整合多應用數(shù)據(jù)庫于Exadata數(shù)據(jù)庫云平臺，可以使得各個應用數(shù)據(jù)庫的資源利用率得到有效的整合和提升，以節(jié)省更多的主機、存儲、機房、軟件License等資源。

    如企業(yè)有3個主要應用在數(shù)據(jù)庫云平臺運行，3類應用分別以Sales App、ERP App和HR App表示，如圖6所示。數(shù)據(jù)庫云平臺可以分別給3類應用構建服務器資源池(server poo1)和空閑資源池(free pod)，3類應用分別通過相應的數(shù)據(jù)庫服務接口連接Exadata數(shù)據(jù)庫云平臺。根據(jù)實際業(yè)務需求，銷售部門應用需要持續(xù)地使用較多的數(shù)據(jù)庫云資源，數(shù)據(jù)請求需要優(yōu)先得到滿足。ERP類應用對數(shù)據(jù)庫云資源的需求彈性較大，隨商務周期可能會有所變動，同時數(shù)據(jù)請求的優(yōu)先級較銷售部門低。HR類應用對數(shù)據(jù)庫云資源需求相對固定，且所需的資源最少，數(shù)據(jù)請求的優(yōu)先級最低。Exadata數(shù)據(jù)庫云平臺可以按照每類應用對資源的需求進行管理和動態(tài)供應。

    在ExadaIa數(shù)據(jù)庫云服務器中，不同應用數(shù)據(jù)庫部署在多個數(shù)據(jù)庫服務器集群中，當應用負載和請求增長時，原有計算資源不足以滿足要求，服務質(zhì)量會下降（預定義策略），數(shù)據(jù)庫服務可以在數(shù)據(jù)庫云平臺中動態(tài)擴展到資源空閑的服務器中運行，提高該服務的服務質(zhì)量。

    3．2．2分布式存儲資源池

    Exadata數(shù)據(jù)庫云服務器本身就集成了ASM(自動存儲管理)的存儲管理功能，用來實現(xiàn)存儲的虛擬化、高擴展、高可靠的特點。

    通過Oracle ASM進行存儲虛擬化后，不但可以實現(xiàn)存儲的性能水平擴展，而且可以實現(xiàn)存儲的高可用、自管理能力。加入ASM管理的存儲可以劃分為不同的磁盤組，當數(shù)據(jù)存儲在磁盤組中時，數(shù)據(jù)會均勻分布到磁盤組的各個存儲單元，實現(xiàn)數(shù)據(jù)均勻分布，當磁盤組中增加或減少存儲單元數(shù)量時，數(shù)據(jù)會被動態(tài)地重新分布，避免出現(xiàn)任何的熱點磁盤。

圖5 實例綁定技術

圖6 數(shù)據(jù)庫云平臺的3類應用

圖7 智能存儲技術的處理

    Exadma將數(shù)據(jù)庫計算分成計算密集型處理和存儲密集型處理，分別在DB服務器和存儲服務器完成。采用智能存儲技術(Smart Scan)，實現(xiàn)了存儲層完全并發(fā)式、智能化的預處理，提高了數(shù)據(jù)的處理效率，并降低了DB服務器的處理負擔，如圖7所示。

    3．2．3高性能互聯(lián)網(wǎng)絡

    Omcle Exadata Stora鼯在服務器和存儲之間使用了Intlniband互連。Exadala單元具有高可用性的雙端口4倍數(shù)據(jù)速率(QDR)Intlniband連接。每個Intlniband連接提供了40 GB的帶寬，高于傳統(tǒng)存儲或服務器網(wǎng)絡許多倍。而且Oracle的互連協(xié)議使用直接內(nèi)存訪問(DMA)，直接將數(shù)據(jù)從線纜轉(zhuǎn)移到數(shù)據(jù)庫緩存，沒有額外的數(shù)據(jù)拷貝，以確保極低的CPU開銷。Infiniband網(wǎng)絡具有LAN網(wǎng)絡的靈活性和SAN的高效性，使用InfimBand網(wǎng)絡后，Oracle可確保網(wǎng)絡不會成為性能瓶頸，其也為0racle數(shù)據(jù)庫真正應用集群節(jié)點提供了高性能集群互連。

    3．2．4集中化、統(tǒng)一的云平臺管理

    0mck Exadafa與Oracle企業(yè)管理器fEMl網(wǎng)格控制進行了集成，可輕松監(jiān)視Exadata環(huán)境。在現(xiàn)有的EM系統(tǒng)中安裝Exadata插件后，可以監(jiān)視Exadam Slorage Server上的統(tǒng)計信息和活動，并將事件和警報發(fā)送給管理員。EM系統(tǒng)與Exadata集成的優(yōu)勢介紹如下。

    ·監(jiān)視Oracle Exadata存儲；

    ·收集存儲配置和性能信息；

    ·根據(jù)閾值設置發(fā)出報警和警告；

    ·在歷史數(shù)據(jù)的基礎上提供豐富的現(xiàn)成量度和報表。

    所有的功能用戶均期望可以配合使用Oracle企業(yè)管理器和Exadata。用戶可以使用EM界面輕松地管理Exadam環(huán)境和其他以往結合企業(yè)管理器使用的Oracle數(shù)據(jù)庫環(huán)境。DBA可以使用熟悉的EM界面來查看報表以確定Exadata系統(tǒng)的狀況并管理Exadata存儲的配置。

轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://www.guhuozai8.cn/

本文標題：企業(yè)級數(shù)據(jù)庫云平臺的建設與運維方案(上)

本文網(wǎng)址：http://www.guhuozai8.cn/html/support/1112156951.html