1.現(xiàn)狀及需求
1.1現(xiàn)狀
從2008年開始，我市建立了重慶市主城范圍內(nèi)集中統(tǒng)一管理的城鎮(zhèn)地籍數(shù)據(jù)庫，實現(xiàn)了城鎮(zhèn)土地登記系統(tǒng)和數(shù)據(jù)的大集中,中心數(shù)據(jù)庫采用ORACLE數(shù)據(jù)庫平臺。
按照我市土地和房屋合一登記的管理模式的要求，從2010年開始，我市各房屋登記中心在全市集中的城鎮(zhèn)地籍數(shù)據(jù)庫的基礎(chǔ)上，結(jié)合原有的房屋登記系統(tǒng)，以宗地為線索開展了房屋登記數(shù)據(jù)的清理工作，建立了全市集中統(tǒng)一的城鎮(zhèn)地房籍數(shù)據(jù)庫和應(yīng)用系統(tǒng)。
1.2 需求
由于我市實行的是大集中的數(shù)據(jù)管理模式，中心生產(chǎn)數(shù)據(jù)庫在出現(xiàn)故障的情況下如不能得到及時恢復(fù)，將導(dǎo)致全市土地和房屋登記業(yè)務(wù)停頓，因此必須在中心機房建立與生產(chǎn)數(shù)據(jù)庫實時同步的數(shù)據(jù)庫，確保在生產(chǎn)數(shù)據(jù)庫出現(xiàn)較長時間不能恢復(fù)的故障的情況下，啟用備用數(shù)據(jù)庫，保證業(yè)務(wù)的連續(xù)。
同時，由于數(shù)據(jù)在市局統(tǒng)一存放，各單位無數(shù)據(jù)庫。而各單位由于對數(shù)據(jù)使用的需求千差萬別，無法在市局統(tǒng)一的數(shù)據(jù)庫上滿足其個性化的需求。因此需將市局集中的數(shù)據(jù)同步到各區(qū)，既可實現(xiàn)數(shù)據(jù)的異地備份，同時各區(qū)可利用改回備數(shù)據(jù)進行各類統(tǒng)計分析和專題利用。
2.技術(shù)比較
目前基于Oracle數(shù)據(jù)庫的數(shù)據(jù)同步技術(shù)大體上可分為兩類：Oracle自帶的數(shù)據(jù)同步技術(shù)和第三方廠商提供的數(shù)據(jù)同步技術(shù)。Oracle自帶的同步技術(shù)主要有DataGuard，Streams， GoldenGate三種技術(shù)。第三方廠商的數(shù)據(jù)同步技術(shù)有Quest公司的SharePlex和DSG的RealSync。
本文重點就ORACLE本身提供的DataGuard，Streams， GoldenGate三種同步技術(shù)進行比較。
2.1 DataGuard技術(shù)
DataGuard是Oracle數(shù)據(jù)庫自帶的數(shù)據(jù)同步功能，基本原理是將日志文件從原數(shù)據(jù)庫傳輸?shù)侥繕藬?shù)據(jù)庫，然后在目標數(shù)據(jù)庫上應(yīng)用（Apply）這些日志文件，從而使目標數(shù)據(jù)庫與源數(shù)據(jù)庫保持同步。
DataGuard為源數(shù)據(jù)庫提供了兩種日志傳輸方式，ARCH傳輸方式和LGWR傳輸方式，其中，LGWR傳輸方式可實現(xiàn)同步和異步的傳輸。在這些日志傳輸?shù)姆绞缴希商峁┤N數(shù)據(jù)。
保護模式，即最大性能（Maximum Performance Mode）、最大保護（Maximum Protection Mode）和最大可用（Maximum Availability Mode）。
根據(jù)目標數(shù)據(jù)庫對日志應(yīng)用方式（Log Apply）的不同，該技術(shù)可分為Physical Standby（Redo Apply）和Logical Standby（SQL Apply）兩種方式。物理同步是指目標庫通過介質(zhì)恢復(fù)的方式保持與源數(shù)據(jù)庫同步。邏輯同步是指目標數(shù)據(jù)庫通過LogMiner挖掘從源數(shù)據(jù)庫傳輸過來的日志，構(gòu)造成SQL語句，然后在目標庫上執(zhí)行這些SQL，使之與源數(shù)據(jù)庫保持同步。
2.2 Streams技術(shù)
Streams技術(shù)是指利用挖掘日志文件生成變更的邏輯記錄，然后將這些變更應(yīng)用到目標數(shù)據(jù)庫上，從而實現(xiàn)數(shù)據(jù)庫之間或一個數(shù)據(jù)庫內(nèi)部的數(shù)據(jù)同步。
其實現(xiàn)步驟為利用Capture進程分析日志，生成邏輯記錄（LCR），將其放入一個隊列。Propagation進程將生成的邏輯記錄發(fā)送到目標數(shù)據(jù)庫中。目標數(shù)據(jù)庫利用Apply進程將LCR應(yīng)用到數(shù)據(jù)庫中，實現(xiàn)與源數(shù)據(jù)庫的同步。
Capture進程一般位于源數(shù)據(jù)庫，Capture進程將日志分析后生成的LCR，然后再傳輸?shù)侥繕藬?shù)據(jù)庫中進行應(yīng)用。也可將Capture進程配置在目標數(shù)據(jù)庫中，源數(shù)據(jù)庫直接將日志文件傳輸?shù)侥繕藬?shù)據(jù)庫，然后再利用配置在目標數(shù)據(jù)庫的Capture進程進行分析，生成邏輯記錄再利用Apply進程進行應(yīng)用。
2.3 GoldenGate技術(shù)
GoldenGate數(shù)據(jù)同步的基本原理是由Extract進程讀取源數(shù)據(jù)庫的事物日志（Oracle中是redo log），將其中的變更操作（insert、update、delete等）按事務(wù)執(zhí)行的順序組合在一起，直接將其發(fā)送到目標服務(wù)其上，或者存放到Trails文件中，然后由Data Pump進程將Trails文件傳輸?shù)侥繕朔⻊?wù)其上，在目標服務(wù)器上Collector進程接收從源服務(wù)器傳送過來的Trails文件，最后由Replicat進程將Trails文件中的數(shù)據(jù)裝載到目標數(shù)據(jù)庫中。GoldenGate通過網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量通常是日志量的1/4或更少。
3.技術(shù)選擇
3.1 中心數(shù)據(jù)庫與本地數(shù)據(jù)庫同步技術(shù)選擇
為避免中心數(shù)據(jù)庫在出現(xiàn)長時間不能恢復(fù)故障引起業(yè)務(wù)的長時間停頓，我們利用2004年購置的IBM P650小機建立了中心數(shù)據(jù)庫的鏡像數(shù)據(jù)庫。考慮到中心數(shù)據(jù)庫和鏡像數(shù)據(jù)庫均使用UNIX操作系統(tǒng)，而且都在一個局域網(wǎng)內(nèi)，為方便配置，我們通過DATA GUARD實現(xiàn)中心數(shù)據(jù)庫與鏡像數(shù)據(jù)庫的數(shù)據(jù)同步。同時，為確保數(shù)據(jù)數(shù)據(jù)的零丟失，日志傳輸采用最大保護模式。
3.2 中心數(shù)據(jù)庫與區(qū)（縣）數(shù)據(jù)庫異地同步的技術(shù)選擇
由于我市市級集中的中心數(shù)據(jù)庫安裝在UNIX操作系統(tǒng)上，而各區(qū)只能提供普通的PC服務(wù)器均安裝的為WINDOWS操作系統(tǒng)進行數(shù)據(jù)回備，而且單位數(shù)量有三十多個，由于DATA GUARD只支持同平臺的數(shù)據(jù)庫之間的數(shù)據(jù)同步，而且只支持最多9個的STANDBY數(shù)據(jù)庫。同時考慮到中心數(shù)據(jù)庫之間與其他單位的數(shù)據(jù)庫分別處于不同地方，之間用6M的網(wǎng)絡(luò)相連，正常工作時間還需通過網(wǎng)絡(luò)傳輸大量的業(yè)務(wù)數(shù)據(jù)，而通過STREAM的數(shù)據(jù)同步技術(shù)需占用大量的網(wǎng)絡(luò)帶寬。
由于中心數(shù)據(jù)庫與區(qū)（縣）數(shù)據(jù)庫平臺操作系統(tǒng)平臺異構(gòu)，同時要實現(xiàn)一個中心數(shù)據(jù)庫與30多個數(shù)據(jù)庫的同步，盡量減少因同步數(shù)據(jù)對網(wǎng)絡(luò)帶寬的占用，考慮到GOLDEN GATE在這些方面都具有明顯優(yōu)點，因此中心數(shù)據(jù)庫與區(qū)（縣）數(shù)據(jù)庫的同步采用GOLDEN GATE的技術(shù)實現(xiàn)。
核心關(guān)注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://www.guhuozai8.cn/
本文標題：數(shù)據(jù)大集中管理模式下數(shù)據(jù)同步技術(shù)探討
本文網(wǎng)址：http://www.guhuozai8.cn/html/consultation/10839311893.html
相關(guān)文章
