隨著計算機技術和網絡技術的迅速發展，在信息化建設過程中構建了許多信息系統來管理數據業務。這些信息系統內部的數據帶有明顯的分布性、自制性和異構性，為了保證各信息系統之間的信息進行共享、維護和管理，使得上層應用可以容易地集成這些異構數據源，使得業務開發人員能夠集中精力于業務應用開發，減少在底層數據層的開發、維護和管理成本，需要找出一種能夠對分布異構數據進行統一管理的通用、可靠、高效的管理體系。SOA技術能夠很好地實現對異構數據進行管理，異構數據管理的方法也有很多，本文從SOA技術方面對異構數據管理進行研究。

　　1.異構數據管理理論

　　異構數據源主要類型有：數據庫、信息系統、數據文件、XML文件、數據采集設備等。這些不同的數據源分布式存在，往往通過系統局域網甚至廣域網進行連接，不同的數據源具有不同的數據格式和數據訪問方式，如數據庫往往提供ODBC 或者JDBC 等程序訪問接口；信息系統一般相對封閉，也有一些比較完善的信息系統向外提供Web Service 或者REST API 形式的訪問接口；數據文件和XML文件也是數據存儲的重要形式，這些文件類的數據源通常無法進行數據互操作，比較難于管理。

　　SOA（Service-Oriented Architecture）稱為面向服務的體系結構，是一種進行分布式系統開發的體系結構，它將應用程序的不同功能單元/服務通過它們之間定義清晰的接口和約定聯系起來，而接口采用中立的描述進行定義，它獨立于實現服務的硬件平臺、操作系統和編程語言，這使得構建在各種異構系統中的服務能夠以一種統一和通用的方式進行交互。SOA 的基礎是“服務”的概念，服務是封裝成用于業務流程的可重用組件的應用程序函數。SOA結構中所有的功能部件定義為獨立的服務，這些服務具有定義明確的可調用接口，它定義了必需的參數和結果的類型，是整個系統的關鍵，同時也是應用程序關注的焦點。基于SOA的異構數據管理系統是指在依照SOA 概念，采用相對成熟的SOA技術體系，以Web 技術尤其是Web 服務技術為基礎構建的面向服務的分布式異構數據管理系統，為數據上層應用提供可靠地數據管理服務。

　　異構數據管理主要技術主要包括異構數據集成、異構數據同步、多數據源互操作、數據狀態發布訂閱、異構數據可靠訪問、分布式數據源狀態監控。在分布式網絡環境中異構數據管理技術主要是通過采用基于SOA的技術體系實現異構數據集成、異構數據同步、多數據源互操作、數據狀態發布訂閱、異構數據可靠訪問、分布式數據源狀態監控等數據管理核心功能。

　　數據同步的理論研究工作在多個相關領域（變化數據獲取領域、數據復制技術領域、數據傳輸領域以及分布式數據庫領域）研究的共同促進下取得了很大的進步。對數據同步技術的分類研究、一致性研究、沖突研究等都發表了大量的文章而且各個數據庫廠商都已經提出了各自的解決方案。總的來說，不管是從理論上還是從應用上，數據同步都取得了很大的進展，其中關鍵的問題是研究變化的數據的獲取技術。變化數據獲取和數據同步息息相關，變化數據獲取是數據同步的前提和基礎，對于數據同步的選時方式和更新方式具有直接的決定性作用。常用的數據同步技術包括：基于影子表法、基于API法、基于快照法、基于控制表法、基于時間戳法、基于日志法、基于觸發器法。

　　實現多數據源之間的互操作的復雜性大大取決于系統中數據源的數目和異構程度。在解決復雜性和異構性方面，SOA和Web 服務技術顯示了極大地希望。Web 服務帶來了一種新的網絡應用模式。以XML為核心的Web 服務技術能在異構系統間構筑一個通用的、平臺獨立、語言無關的技術層，實現彼此之間的連接和集成。伴隨著Web 技術的應用，SOA技術也得到了很好的發展，SOA是一種構件分布式系統的建構模型，它能夠根據需求通過網絡相對松散耦合的應用組件進行分布式部署、組合和應用，它是當前企業信息系統的發展方向。

　　數據狀態信息在分布式數據數據管理系統中的作用十分重要，它是數據同步、數據狀態監控等底層的實現機制。發布/訂閱（Publish/Subscribe，簡稱pub/sub）是一種使分布式系統中的各參與者能夠以發布/ 訂閱的方式進行交互的中間件系統。在pub/sub 方式下，生產者將發布內容發送給pub/sub 中間件；消費者則向pub/sub 中間件發出一個訂閱條件，表示對系統中的哪些內容感興趣；而pub/sub 中間件保證將生產者發布的內容及時、可靠地傳送給所有對之感興趣的消費者。

　　2.異構數據管理實現

　　在分布式網絡環境中采用基于SOA技術體系的技術方法，通過SOA技術體系中的Web服務、UDDI、WSDL服務描述、企業服務總線ESB、消息隊列MQ實現異構數據管理的功能。基于通用SOA架構的異構數據管理系統框架遵循SOA的基本架構設計，引入服務提供者、服務使用者和服務注冊中心的概念。每個系統組件都被進行服務化封裝，既是服務提供者優勢其他服務的使用者。SOA基本角色的交互關系如圖1所示。

圖1 SOA 基本角色關系圖

　　異構數據管理的實現采用具有高性能的企業服務總線（ESB）為核心，在服務總線內部通過可靠信息傳遞、組件服務通信優化等技術實現高性能的組件服務交互通道。原系統組件通過各種適配器轉換成為可注冊服務添加到服務總線管理域。通過這些組件服務的互操作和數據通信實現復雜系統集成，各異構數據源系統內部可以運行獨立的特定應用系統，這些數據源系統的輸出信息通過服務總線中的服務描述完成系統集成。

　　2.1 異構數據源服務化

　　異構數據源服務化供應是基于SOA的復雜系統集成的基礎。組件服務化描述方法主要以通用SOA 接口描述方法（Web Services Description Language，WSDL）為主，WSDL 可以用于描述組件功能及交互方法，實現不同語言、不同平臺間的組件互操作。

　　WSDL 是Web 服務描述語言，是基于XML 的關于如何與Web 服務通訊和使用的服務描述；也就是描述與目錄中列出的Web 服務進行交互時需要綁定的協議和信息格式。通常采用抽象語言描述該服務支持的操作和信息，使用時再將實際的網絡協議和信息格式綁定。包括參數類型、消息、端口類型、操作、綁定、端口和服務等元素。其基本結構如圖2 所示。

圖2 WSDL基本結構圖

　　2.2 基于SOA的數據組件服務可靠通信與優化技術

　　系統數據組件服務通過服務總線進行交互，交互方式又稱協調模式。分布式異構數據管理系統對系統性能要求很高，進而需要對數據組件服務的交互進行全面的優化。鑒于在某方面的應用中，由于參與者可能不允許將某些信息交由他方集中管理，這種集中式的管理方式不能夠滿足要求，由于服務的協作是通過消息傳遞完成的，因此，可以采用數據流分析方法組件服務交互的數據流進行優化，減少消息傳遞的數量和次數，從而提高組合服務的性能。

　　針對協調模式的優化將首先建立協調模式的形式化模型，然后采用形式化分析方法對模型進行驗證，并采用數據分析方法進行優化。

　　協調協議是Web 服務協調框架的核心，可以支持基本的Web 服務組合功能，且能夠控制數據流和控制流的分離，在參與的服務之間進行數據傳輸，避免了將所有數據通過中心引擎進行轉發。

　　針對定義的協調協議模型采用數據流分析方法對其進行數據優化。數據流優化首先是進行數據信息收集，然后研究數據流優化算法。

　　數據流分析是編譯系統中的重要內容，它能從程序代碼中收集程序的語義信息，并通過代數的方法在編譯時確定變量的定義和引用。主要通過建立并計算數據流方程來收集數據流信息，最典型的數據流方程為。這個方程的含義為：當控制流通過一個語句（或基本塊）時，在語句（或基本塊）末尾得到的信息或者是在該語句（或基本塊）中產生的信息，或者是進入語句（或基本塊）開始點時候帶的并且沒有被這個語句注銷的哪些信息。這樣的方程叫數據流方程。可以根據程序的結構設計不同的數據流方程，收集數據流信息，通過設計數據流優化算法優化程序數據流。

　　2.3 建立企業服務總線（ESB）實現可靠數據傳遞與數據發布訂閱機制

　　在基于通用SOA技術基礎之上，采用開放的總線結構，研究并設計的分布式網絡環境中用于異構數據傳輸集成的服務總線體系結構，如圖3所示。

圖3 異構數據傳輸集成服務總線體系結構

　　在此結構中，異構數據集成服務總線的功能主要分兩個層次：應用協議層和服務通信層。在服務通信層，異構數據集成服務總線的功能主要是保證服務間消息通信的安全可靠，實現消息路由以及一些復雜消息傳遞機制，如組播技術、消息批處理功能、消息分段技術、異步遠程拷貝和傳送過程中的零拷貝訪問等。在應用協議層次，異構數據集成服務總線的功能主要是為不同數據數據源系統進行協議轉換，比如數據庫系統如何與其他信息系統進行數據互聯；不同事務處理機制如何完成分布式事務處理等；還有就是在應用層次對數據管理服務的服務質量或服務等級進行匹配。

　　服務總線需要具有以下功能：使用異步操作技術而非阻塞操作；使用多線程技術并發處理緊急任務；仔細挑選架構與優先技術以避免線程沖突，并使用看門狗和延時設定監控以維持應用程序正常運行。

　　2.4 建立基于SOA的異構數據監控系統

　　異構數據監控系統主要基于SNMP 網絡管理協議，結合智能代理技術為每個數據源添加專門的代理，獲取數據源狀態，通過ESB 進行狀態信息發布，信息監控系統通過ESB 獲取訂閱的狀態信息，通過可視化形式顯示系統數據源狀態信息。

　　3.結束語

　　本文主要介紹了在分布式網絡中異構數據管理技術，在分布式網絡中的異構數據管理主要通過采用基于SOA的技術體系，通過基于SOA的數據組件服務和企業服務總線技術實現異構數據管理的功能，達到解決信息集成困難問題的目的。 

核心關注：拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理，全面涵蓋了企業關注ERP管理系統的核心領域，是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。

轉載請注明出處：拓步ERP資訊網http://www.guhuozai8.cn/

本文標題：基于SOA的異構數據管理技術

本文網址：http://www.guhuozai8.cn/html/consultation/10839513035.html