1.企業(yè)異構(gòu)數(shù)據(jù)分析
企業(yè)在信息化建設(shè)中,由各個(gè)業(yè)務(wù)系統(tǒng)的建設(shè)和實(shí)施數(shù)據(jù)管理系統(tǒng)的技術(shù)性、階段性以及其它經(jīng)濟(jì)和人為等因素影響,從而使企業(yè)在發(fā)展過(guò)程中積累了大量不同存儲(chǔ)方式的業(yè)務(wù)數(shù)據(jù),同時(shí)采用的數(shù)據(jù)管理系統(tǒng)也各不相同,包括簡(jiǎn)單的文件數(shù)據(jù)庫(kù)和復(fù)雜的網(wǎng)絡(luò)數(shù)據(jù)庫(kù),構(gòu)成了企業(yè)異構(gòu)數(shù)據(jù)源。在很多情況下,業(yè)務(wù)管理系統(tǒng)分布在不同位置的網(wǎng)絡(luò)上,多個(gè)業(yè)務(wù)管理系統(tǒng)中的數(shù)據(jù)被訪問(wèn)才能作出一個(gè)決策。因此在企業(yè)的信息化過(guò)程中,異構(gòu)數(shù)據(jù)源的整合和集成式經(jīng)常遇到的問(wèn)題,影響了數(shù)據(jù)共享程度,也是造成信息化建設(shè)投資重復(fù)的一個(gè)主要因素?偟膩(lái)說(shuō),數(shù)據(jù)源的異構(gòu)是由于它所依賴的應(yīng)用系統(tǒng)、數(shù)據(jù)庫(kù)管理系統(tǒng)、操作系統(tǒng)的不同以及在存貯模式上的不同而引起的。
企業(yè)數(shù)據(jù)源異構(gòu)性主要有以下幾個(gè)方面的表現(xiàn):
(1)來(lái)源異構(gòu),主要是企業(yè)內(nèi)部和外部數(shù)據(jù)源之間的異構(gòu)。
(21系統(tǒng)異構(gòu),數(shù)據(jù)源所依賴的操作系統(tǒng)和業(yè)務(wù)應(yīng)用系統(tǒng)以及數(shù)據(jù)庫(kù)管理系統(tǒng)的不同構(gòu)成的系統(tǒng)異構(gòu)。
2.?dāng)?shù)據(jù)集成的模式
數(shù)據(jù)集成提供了具有一致性、完整性、安全性的數(shù)據(jù),這些數(shù)據(jù)可以用來(lái)進(jìn)行信息查詢、數(shù)據(jù)訪問(wèn)、決策支持訪問(wèn),為運(yùn)行在平臺(tái)上的各種應(yīng)用和系統(tǒng)服務(wù)。數(shù)據(jù)集成解決了在不同應(yīng)用和系統(tǒng)間的數(shù)據(jù)交換和共享的問(wèn)題,在數(shù)據(jù)源和數(shù)據(jù)庫(kù)上進(jìn)行的數(shù)據(jù)集成模式主要有以下三種:
(1)數(shù)據(jù)聯(lián)邦模式
數(shù)據(jù)聯(lián)邦模式指不同的應(yīng)用共同訪問(wèn)一個(gè)全局虛擬數(shù)據(jù)庫(kù),通過(guò)全局虛擬數(shù)據(jù)庫(kù)管理系統(tǒng)為不同的應(yīng)用提供全局信息服務(wù),實(shí)現(xiàn)不同的應(yīng)用和數(shù)據(jù)源之間的信息共享和數(shù)據(jù)交換。數(shù)據(jù)聯(lián)邦模式的具體實(shí)現(xiàn)由客戶端應(yīng)用、全局信息服務(wù)和若干個(gè)局部數(shù)據(jù)源三部分組成?蛻舳藨(yīng)用程序發(fā)出數(shù)據(jù)訪問(wèn)請(qǐng)求,全局信息服務(wù)對(duì)請(qǐng)求進(jìn)行簡(jiǎn)單的分析處理,對(duì)于必須由全局虛擬數(shù)據(jù)庫(kù)處理的訪問(wèn)請(qǐng)求,通過(guò)底層通信系統(tǒng)將請(qǐng)求信息發(fā)給全局虛擬數(shù)據(jù)庫(kù)。全局虛擬數(shù)據(jù)庫(kù)管理系統(tǒng)接收到請(qǐng)求后,進(jìn)行分析處理,來(lái)訪問(wèn)全局?jǐn)?shù)據(jù)字典及局部數(shù)據(jù)源,最后將處理結(jié)果匯總返回給客戶端應(yīng)用程序。如圖1所示。
圖1 數(shù)據(jù)聯(lián)邦模式
(2)數(shù)據(jù)復(fù)制模式
數(shù)據(jù)復(fù)制模式是在底層數(shù)據(jù)源一致的前提下,通過(guò)一個(gè)數(shù)據(jù)復(fù)制中間件或者代理,實(shí)現(xiàn)各種應(yīng)用間的信息共享、互操作。其中間件的功能是,從一個(gè)應(yīng)用或者數(shù)據(jù)庫(kù)系統(tǒng)中獲取數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)、傳輸和導(dǎo)入數(shù)據(jù)到另一個(gè)應(yīng)用數(shù)據(jù)庫(kù)中。
3.ETL技術(shù)
在數(shù)據(jù)集成的實(shí)施過(guò)程中,不同用戶提供的數(shù)據(jù)有可能來(lái)自不同的途徑,其數(shù)據(jù)內(nèi)容、格式和質(zhì)量差別很大,有時(shí)甚至?xí)龅綌?shù)據(jù)格式不能轉(zhuǎn)換或者數(shù)據(jù)轉(zhuǎn)換格式后丟失信息等棘手問(wèn)題,嚴(yán)重影響了數(shù)據(jù)在各部門與各應(yīng)用系統(tǒng)中的共享和流動(dòng)。因此,為了增強(qiáng)企業(yè)商業(yè)競(jìng)爭(zhēng)力,對(duì)數(shù)據(jù)進(jìn)行有效的集成管理已成為一種必然選擇,ETL是實(shí)現(xiàn)數(shù)據(jù)集成的主要技術(shù)。ETL具有易用性、穩(wěn)定性、可靠性、執(zhí)行效率高等特點(diǎn)。
ETL(Extract、Transform、Load)即對(duì)數(shù)據(jù)的抽取、轉(zhuǎn)換、加載。數(shù)據(jù)抽取:即為從源數(shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)源系統(tǒng)需要的數(shù)據(jù),ETL處理的數(shù)據(jù)源除了關(guān)系數(shù)據(jù)庫(kù)外,還可能是文件,例如僅t文件、excel文件、xml文件等。對(duì)文件數(shù)據(jù)的抽取一般是進(jìn)行全量抽取,一次抽取前可保存文件的時(shí)間戳或計(jì)算文件的MD5校驗(yàn)碼,下次抽取時(shí)進(jìn)行比對(duì),如果相同則可忽略本次抽。簲(shù)據(jù)轉(zhuǎn)換是將從源數(shù)據(jù)源獲取的數(shù)據(jù)按照業(yè)務(wù)需求,轉(zhuǎn)換成目的數(shù)據(jù)源要求的形式,并對(duì)錯(cuò)誤、不一致的數(shù)據(jù)進(jìn)行清洗和加工。數(shù)據(jù)加載是將轉(zhuǎn)換后的數(shù)據(jù)裝載到目的數(shù)據(jù)源將轉(zhuǎn)換和加工后的數(shù)據(jù)裝載到目的庫(kù)中通常是ETL過(guò)程的最后步驟。
4.應(yīng)用實(shí)例
應(yīng)用背景
基于以上有關(guān)信息系統(tǒng)集成的相關(guān)理論,對(duì)錦天化實(shí)現(xiàn)了信息集成平臺(tái)的應(yīng)用。錦天化在信息化建設(shè)過(guò)程中,先后投用了24套系統(tǒng),這些系統(tǒng)都是孤立的,并且采用了不同廠商、不同技術(shù)的管理系統(tǒng)。在流程和業(yè)務(wù)上存在重疊,數(shù)據(jù)上存在冗余,數(shù)據(jù)、流程、業(yè)務(wù)存在交叉而又無(wú)法界定,是建立了多個(gè)大的信息孤島,主要表現(xiàn)在以下四個(gè)方面:
(1)不同廠商的DCS、PLC、APC、RTDB的控制系統(tǒng)的技術(shù)標(biāo)準(zhǔn)、接口標(biāo)準(zhǔn)、通訊協(xié)議不匹配:
(2)不同廠商的MES、ERP、EAM、CRM等管理系統(tǒng)數(shù)據(jù)結(jié)構(gòu)各不相同,數(shù)據(jù)邏輯關(guān)系封閉,業(yè)流程邏輯關(guān)系各自為政,沒(méi)有依據(jù)企業(yè)組織架構(gòu)的全局流程管理思想;
(3)企業(yè)的組織架構(gòu)和管理流程條塊分創(chuàng),業(yè)務(wù)執(zhí)行不完全是全局協(xié)同,執(zhí)行力和執(zhí)行效率不是很高,缺乏過(guò)程控制下的協(xié)同工作環(huán)境,不同過(guò)程和階段的連續(xù)性差。
5系統(tǒng)結(jié)構(gòu)設(shè)計(jì)
本系統(tǒng)采用的是建立數(shù)據(jù)中心的模式進(jìn)行數(shù)據(jù)集成,所采用的ETL工具為kettle, Kettle是一款國(guó)外開(kāi)源的etl工具,它允許你管理來(lái)自不同數(shù)據(jù)庫(kù)的數(shù)據(jù),從原有的企業(yè)資源計(jì)劃系統(tǒng)(ERP)、人力資源系統(tǒng)iHRI.(制選執(zhí)行系統(tǒng))MES等各個(gè)子系統(tǒng),采集基礎(chǔ)業(yè)務(wù)數(shù)據(jù),進(jìn)行抽取、轉(zhuǎn)換、清洗、裝載處理,保存到平臺(tái)數(shù)據(jù)庫(kù),通過(guò)報(bào)表工具的報(bào)表設(shè)計(jì)工具設(shè)計(jì)平臺(tái)展現(xiàn)報(bào)表樣式,報(bào)表工具根據(jù)報(bào)表設(shè)計(jì)模版提供報(bào)表服務(wù)。平臺(tái)調(diào)用時(shí)根據(jù)登錄用戶權(quán)限調(diào)用報(bào)表服務(wù)。把各個(gè)系統(tǒng)的業(yè)務(wù)都能提到平臺(tái)上,實(shí)現(xiàn)了教據(jù)共享,同時(shí)能進(jìn)行跨系統(tǒng)的業(yè)務(wù)操作。
錦天化信息系統(tǒng)集成主要基于Web的BIS結(jié)構(gòu)三層體系架構(gòu),即數(shù)據(jù)層、中間層,應(yīng)用層.分別由三臺(tái)服務(wù)器支持運(yùn)行,即數(shù)據(jù)庫(kù)服務(wù)器、中間伺服服務(wù)器、應(yīng)用展現(xiàn)服務(wù)器。開(kāi)發(fā)環(huán)境采用系統(tǒng)運(yùn)行效率離的頁(yè)面語(yǔ)言JAVA數(shù)據(jù)庫(kù)系統(tǒng)采用Sql SERVER 2008,支持集成平臺(tái)所需大量數(shù)據(jù)的運(yùn)算、管理和維護(hù)。該系統(tǒng)邏輯架構(gòu)分為:基礎(chǔ)軟件服務(wù)、統(tǒng)一安全服務(wù)、應(yīng)用支撐層、業(yè)務(wù)應(yīng)用層。
6結(jié)束語(yǔ)
實(shí)踐表明,數(shù)據(jù)的聯(lián)邦模式在中小型企業(yè)中能很好的解決應(yīng)用之間的數(shù)據(jù)共享和互通的問(wèn)題,ETL的易用、穩(wěn)定、高效等特點(diǎn)使其成為異構(gòu)數(shù)據(jù)集成平臺(tái)下理想的采集工具,通過(guò)平臺(tái)數(shù)據(jù)庫(kù)建立,最終實(shí)現(xiàn)了各系統(tǒng)的業(yè)務(wù)平臺(tái)展現(xiàn)和跨系統(tǒng)的業(yè)務(wù)操作。
轉(zhuǎn)載請(qǐng)注明出處:拓步ERP資訊網(wǎng)http://www.guhuozai8.cn/
本文標(biāo)題:企業(yè)異構(gòu)信息系統(tǒng)集成展現(xiàn)平臺(tái)的研究
本文網(wǎng)址:http://www.guhuozai8.cn/html/solutions/1401931994.html