1 引言
隨著信息化的日益普及和深入，企業管理層關注的不再是停留在數據的收集層面，而是轉向對業務分析以及對業務關鍵信息的應用上，很多企業選擇了在原來系統的基礎上開發商業智能系統，即BI功能。
2 項目背景
隨著公司近些年的業務不斷發展，在管理報告應用和決策支持上的不足也逐漸呈現，主要體現在缺乏共享機制，無法保證分析時效性和有效性；分析結果受制于業務數據的規范性和完整性。同時，經過多年的信息化建設， ERP及一些專業數據庫系統都已經得到良好的應用，在產量、銷量、預算、核算等方面積累了大量的基礎數據，具備了挖掘、利用、為高管層提供決策支持信息的數據基礎。基于前述內容，為了適應公司目前的發展戰略，使公司現有的經營管理信息發揮更大的效力,為公司管理層在統一的平臺提供及時、有效的管理決策支持，決定建設 BI 系統。項目建設選用了“IT 行業中唯一一家能夠提供信息基礎結構所有內容的公司”——IBM 的全套產品，包括：服務器（IBM Power 750）、操作系統（AIX）、數據倉庫（DB2）、數據集成（DataStage）、圖表分析（Cognos）。
3 系統架構設計
3.1 物理架構
根據應用的分類將所有服務器分為三個群組，每個群組由兩臺服務器組成，并且這兩臺服務器進行雙機雙活，保證系統的穩定性要求。具體物理架構圖如下圖所示：
圖 1.數據倉庫物理架構
3.2 邏輯架構
根據用戶需求分析結果以及整體系統開發技術路線，系統總體邏輯架構整體如下圖所示：
圖 2.數據倉庫邏輯架構
數據整合分析系統在應用邏輯上分為三個模塊：數據倉庫模塊、ETL 過程模塊、應用展現模塊。每個模塊配以安全管理的相應方法和策略，保證數據、系統和信息的安全應用。
4 數據倉庫設計
數據倉庫是整合數據整合分析系統的核心部分，具備保存數據、處理數據、分析計算數據、為應用創建數據模型的功能。數據倉庫在進行統一安全管理的前提下，與 ETL調度過程相連接，獲取數據倉庫所需的分析應用數據。在數據倉庫內部，根據數據倉庫建設的通用架構和行業經驗，區分出四個層次，每個層次根據其功能進行相應的數據存儲分類和處理操作，最終形成提供給應用展現所需的數據集市模型。
4.1 邏輯架構
數據倉庫整體架構如下圖所示：
圖 3.數據倉庫整體架構
4.2 基本分層結構
數據倉庫的所有層都存儲在一個 DB2 數據庫內，各個不同的數據在 DB2 內按不同的 Schema 來區分，同時不同的 Schema 在物理存儲過程中會對應不同的表空間。從邏輯上和物理上同時劃分出數據倉庫的各個層次出來。接下來分別對每個數據區域做詳細介紹。
4.2.1 數據接口層（SRC）
SRC 是生產系統數據源的直接拷貝，由 ETL 過程對數據源進行直接抽取，在格式和數據定義上不作任何改變。與生產系統數據的唯一不同是，SRC 層數據具有時間戳。
SRC 層直接表示為與數據源相同的架構，但 SRC 層可保存多天的源數據，并打上時間戳。SRC 層存在的意義在于兩點：（1）對數據源作統一的一次性獲取，數據倉庫中其他部分都依賴于 SRC 層的數據，不再重復進行抽取，也不在生產系統上作運算，減小生產系統的壓力；（2）在生產系統數據已經刷新的情況下，保存一定量的生產系統的歷史數據，以便在二次抽取過程中運算出錯的情況下可以進行回溯。SRC 層是數據中心原始數據的緩存層。該層次設計是相對簡單，能夠真實體現數據源系統和源系統數據表的真實情況即可。
4.2.2 維度數據層(DI)
維度數據層的數據來源于 SRC 層，主要有下列幾個方面的作用。（1）提供標準維度數據。在客戶的業務系統中，每個系統通常都獨立存放維度，并且有獨立的編碼規則，但在不同的業務系統中，有些維度的含義是完全相同的。而數據中心要求維度統一，即同一個維度應該采取統一的編碼，所有業務系統數據共用統一維度編碼。DI 層存放客戶確認后的標準維度數據。該部分起到兩個作用。一、為已有業務系統提供維度標準，為數據清洗提供支持。二、為待開發系統提供標準維度支持。為了使待開發的業務系統數據能夠很好的融入數據倉庫，數據中心為這些系統提供標準的初始化維度數據。（2）提供維度轉換關系。標準維度確定后，各業務系統各種不符合標準維度的數據必須經過清洗，在數據清洗之前，必須確認維度轉換的規則，即確定各業務系統獨立的維度同標準維度的對應關系，并形成對照關系表。DI 層用戶存放客戶確認后的維度對照表。DI 層是存儲系統內標準主數據的層次，負責整個數據倉庫標準維度統一工作。DI 層的設計主要考慮的是維度的標準化存儲和應用，所以該層次的主要設計原則為標準清晰原則。
4.2.3 數據倉庫層(DW)
DW 層（數據倉庫層）是數據倉庫系統的核心，具有面向業務的、穩定的、集成的、持續的特點。DW 層的數據從數據接口層（SRC 層）通過數據清洗和轉換裝載到數據倉庫層，定期通過時間戳進行更新，使得 DW 層的數據是完整的、準確的和簡潔的。在清洗過程中，會將從各個業務系統來的數據的維度進行標準化清理，保證維度數據在數據倉庫內部的唯一性。DW 層作為儲存數據元素的主要層次，負責存儲清洗后的、唯一的、標準的數據內容。
DW 層數據模塊按照如下原則進行分類：（1）根據數據業務內容進行設計：DW 層數據首先按照源系統抽取過來的數據的業務內容進行首要分類，將同樣業務內容的數據進行分組，組成相應的內容模塊。（2）根據數據來源及更新方式進行設計：數據倉庫的更新頻率是根據數據源系統的類型、數據更新需求、數據更新方式等信息來確定的，而數據倉庫層的設計則必須參考數據更新頻率和方式等內容。（3）按相同數據顆粒度劃分：DW 層數據模塊設計時，將按照數據顆粒度的一致性進行數據分類劃分。
4.2.4 數據集市層(DM)
DM 即數據集市層，由各種星型模型的數據表或多數據組合成的平面數據表組成。DM 層為了前臺展現而設計，數據來自于 DW 層和 DI 層。DW 層雖然囊括了系統的所有數據，但 DW 層是為了數據更合理管理而設計，其本身不一定滿足數據展現的需求。再加上系統大數據量的特點，必然需要實現對數據多維分類匯總，以滿足系統性能的要求。而 DM 層用于整合、匯總和存儲這類數據，從而更直接、高效的為應用展現提供數據支持。
DM 層將一句上層報表應用的需求來進行設計，并根據上層應用的具體實際情況來搭建各主題模型。DM 層應用主題按照如下原則進行設計：（1）依據上層應用需求進行設計：由于數據集市層主要是為展現平臺應用作服務，所以首先應根據應用需求的內容進行分析主題的劃分和設計，盡量將同一報表或同一業務主題所用數據匯總在一起，減少上層應用的計算和處理量。（2）根據數據顆粒度進行設計：在數據集市層，相同數據顆粒度的數據應根據上層應用的需求，進行盡可能的整合和匯總，以提供上層應用進行直接讀取和應用。
5 ETL 架構設計
ETL 過程是整合數據整合分析系統的數據來源基礎，在源業務系統和數據倉庫之間起著重要的數據轉移作用。ETL 過程需要經過 ETL 規劃和設計，ETL 調度部署以及日常 ETL 監控和管理等部分組成，ETL 的正常運行直接關系著數據中心數據的完整性和準確性。
ETL 數據轉換是數據整合的必備工具。它可以批量完成 數 據 抽 取 (Extract) 、 清 洗 (Cleaning) 、 轉 換(Transformation)、裝載(Loading)等任務，不但滿足對種類繁多的異構數據庫進行整合的需求，同時可以通過增量方式進行數據的后期更新，一體化的解決了數據整合過程中遇到的種種困難。
ETL 架構描述了數據從源系統抽取、經過轉換加載、數據庫各層處理計算、最終加載至多維數據模型和數據展現模型的整個過程。數據整合分析系統的 ETL 架構如下圖所示：
圖 4.ETL 架構
6 應用展現設計
系統信息展現部分，是在核心主題數據庫的基礎上，以業務視圖、可視化方式為主要展現方式，依托于開發、安全的網絡環境，對核心數據信息進行靈活查詢分析的應用展現系統。
應用展現部分是用戶直接登錄、使用的前臺應用模塊，將包含用戶登錄、固定應用報表、駕駛艙、多維分析應用等多個應用細項組成。該部分能提供的應用功能和方便性、易用性特點，直接影響著用戶使用感受。
6.1 應用展現類型
6.1.1 駕駛艙
通過定制化的基于角色的決策駕駛艙，可以使各種角色的決策者能夠通過直觀的決策儀表盤、圖表曲線、分析報告、交叉表等關鍵分析圖表感知企業、行業關鍵指標的變化。在駕駛艙中，儀表盤技術以形象的駕駛艙特點，使決策者能快速了解企業的現狀；關鍵分析圖表通過針對性的固定更新的報表或多維分析模型簡潔而具有深度的提供給決策層；KPI 指標動態預警在于有效及時固化管理者需要監控的重點，通過基線值自動比對計算，幫助管理者防范風險。
6.1.2 固定報表應用展現
通過預定義的格式化報表展現，可以將大量的數據信息集中展示在復雜的報表中，通過一張固定報表則可以直觀、準確的反映公司的運營狀態、業務狀況。同時配合多種多樣的圖表類型，幫助用戶清晰的了解報表信息。
6.1.3 多維分析應用展現
多維分析處理系統是基于數據倉庫、OLAP 分析技術，針對海量異構數據進行快速多維立體分析處理的有力工具，它將存在著復雜關系的海量數據以業務人員非常熟悉的業務指標形式，通過表格和多種分析圖形等展現方式，瞬間直觀的反映給相關人員，從多種觀察角度圍繞業務指標，對數據進行深入、實時、動態的剖析，用來幫助數據分析人員、管理人員和決策人員洞察數據變化、發現規律，為科學決策提供輔助支持。
轉載請注明出處：拓步ERP資訊網http://www.guhuozai8.cn/
本文標題：企業BI系統設計實踐
本文網址：http://www.guhuozai8.cn/html/consultation/10820616438.html
相關文章
