1.企業異構數據分析
企業在信息化建設中,由各個業務系統的建設和實施數據管理系統的技術性、階段性以及其它經濟和人為等因素影響,從而使企業在發展過程中積累了大量不同存儲方式的業務數據,同時采用的數據管理系統也各不相同,包括簡單的文件數據庫和復雜的網絡數據庫,構成了企業異構數據源。在很多情況下,業務管理系統分布在不同位置的網絡上,多個業務管理系統中的數據被訪問才能作出一個決策。因此在企業的信息化過程中,異構數據源的整合和集成式經常遇到的問題,影響了數據共享程度,也是造成信息化建設投資重復的一個主要因素?偟膩碚f,數據源的異構是由于它所依賴的應用系統、數據庫管理系統、操作系統的不同以及在存貯模式上的不同而引起的。
企業數據源異構性主要有以下幾個方面的表現:
(1)來源異構,主要是企業內部和外部數據源之間的異構。
(21系統異構,數據源所依賴的操作系統和業務應用系統以及數據庫管理系統的不同構成的系統異構。
2.數據集成的模式
數據集成提供了具有一致性、完整性、安全性的數據,這些數據可以用來進行信息查詢、數據訪問、決策支持訪問,為運行在平臺上的各種應用和系統服務。數據集成解決了在不同應用和系統間的數據交換和共享的問題,在數據源和數據庫上進行的數據集成模式主要有以下三種:
(1)數據聯邦模式
數據聯邦模式指不同的應用共同訪問一個全局虛擬數據庫,通過全局虛擬數據庫管理系統為不同的應用提供全局信息服務,實現不同的應用和數據源之間的信息共享和數據交換。數據聯邦模式的具體實現由客戶端應用、全局信息服務和若干個局部數據源三部分組成?蛻舳藨贸绦虬l出數據訪問請求,全局信息服務對請求進行簡單的分析處理,對于必須由全局虛擬數據庫處理的訪問請求,通過底層通信系統將請求信息發給全局虛擬數據庫。全局虛擬數據庫管理系統接收到請求后,進行分析處理,來訪問全局數據字典及局部數據源,最后將處理結果匯總返回給客戶端應用程序。如圖1所示。
圖1 數據聯邦模式
(2)數據復制模式
數據復制模式是在底層數據源一致的前提下,通過一個數據復制中間件或者代理,實現各種應用間的信息共享、互操作。其中間件的功能是,從一個應用或者數據庫系統中獲取數據、轉換數據、傳輸和導入數據到另一個應用數據庫中。
3.ETL技術
在數據集成的實施過程中,不同用戶提供的數據有可能來自不同的途徑,其數據內容、格式和質量差別很大,有時甚至會遇到數據格式不能轉換或者數據轉換格式后丟失信息等棘手問題,嚴重影響了數據在各部門與各應用系統中的共享和流動。因此,為了增強企業商業競爭力,對數據進行有效的集成管理已成為一種必然選擇,ETL是實現數據集成的主要技術。ETL具有易用性、穩定性、可靠性、執行效率高等特點。
ETL(Extract、Transform、Load)即對數據的抽取、轉換、加載。數據抽。杭礊閺脑磾祿聪到y抽取目的數據源系統需要的數據,ETL處理的數據源除了關系數據庫外,還可能是文件,例如僅t文件、excel文件、xml文件等。對文件數據的抽取一般是進行全量抽取,一次抽取前可保存文件的時間戳或計算文件的MD5校驗碼,下次抽取時進行比對,如果相同則可忽略本次抽。簲祿D換是將從源數據源獲取的數據按照業務需求,轉換成目的數據源要求的形式,并對錯誤、不一致的數據進行清洗和加工。數據加載是將轉換后的數據裝載到目的數據源將轉換和加工后的數據裝載到目的庫中通常是ETL過程的最后步驟。
4.應用實例
應用背景
基于以上有關信息系統集成的相關理論,對錦天化實現了信息集成平臺的應用。錦天化在信息化建設過程中,先后投用了24套系統,這些系統都是孤立的,并且采用了不同廠商、不同技術的管理系統。在流程和業務上存在重疊,數據上存在冗余,數據、流程、業務存在交叉而又無法界定,是建立了多個大的信息孤島,主要表現在以下四個方面:
(1)不同廠商的DCS、PLC、APC、RTDB的控制系統的技術標準、接口標準、通訊協議不匹配:
(2)不同廠商的MES、ERP、EAM、CRM等管理系統數據結構各不相同,數據邏輯關系封閉,業流程邏輯關系各自為政,沒有依據企業組織架構的全局流程管理思想;
(3)企業的組織架構和管理流程條塊分創,業務執行不完全是全局協同,執行力和執行效率不是很高,缺乏過程控制下的協同工作環境,不同過程和階段的連續性差。
5系統結構設計
本系統采用的是建立數據中心的模式進行數據集成,所采用的ETL工具為kettle, Kettle是一款國外開源的etl工具,它允許你管理來自不同數據庫的數據,從原有的企業資源計劃系統(ERP)、人力資源系統iHRI.(制選執行系統)MES等各個子系統,采集基礎業務數據,進行抽取、轉換、清洗、裝載處理,保存到平臺數據庫,通過報表工具的報表設計工具設計平臺展現報表樣式,報表工具根據報表設計模版提供報表服務。平臺調用時根據登錄用戶權限調用報表服務。把各個系統的業務都能提到平臺上,實現了教據共享,同時能進行跨系統的業務操作。
錦天化信息系統集成主要基于Web的BIS結構三層體系架構,即數據層、中間層,應用層.分別由三臺服務器支持運行,即數據庫服務器、中間伺服服務器、應用展現服務器。開發環境采用系統運行效率離的頁面語言JAVA數據庫系統采用Sql SERVER 2008,支持集成平臺所需大量數據的運算、管理和維護。該系統邏輯架構分為:基礎軟件服務、統一安全服務、應用支撐層、業務應用層。
6結束語
實踐表明,數據的聯邦模式在中小型企業中能很好的解決應用之間的數據共享和互通的問題,ETL的易用、穩定、高效等特點使其成為異構數據集成平臺下理想的采集工具,通過平臺數據庫建立,最終實現了各系統的業務平臺展現和跨系統的業務操作。
轉載請注明出處:拓步ERP資訊網http://www.guhuozai8.cn/
本文標題:企業異構信息系統集成展現平臺的研究