建立數據倉庫是一個解決企業問題的過程,業務人員往往不懂如何建立和使用數據倉庫發揮其決策支持的作用,信息部門的人員往往又不懂業務不知道應該建立哪些決策主題,從數據源中抽取哪些數據,因此數據倉庫的項目小組應該由業務人員和信息部門的人員共同組成雙方需要相互溝通協作開發數據倉庫。
開發數據倉庫的過程包括以下幾個步驟:
一、系統分析確定主題
建立數據倉庫的第一個步驟,就是通過與業務部門的充分交流了解建立數據倉庫所要解決的問題的真正含義,確定各個主題下的查詢分析要求。
業務人員往往會羅列出很多想解決的問題,信息部門的人員應該對這些問題進行分類、匯總,確定數據倉庫所實現的業務功能,一旦確定問題以后,信息部門的人員還需要確定一下幾個因素:
·操作出現的頻率即業務部門每隔多長時間做一次查詢分析
·在系統中需要保存多久的數據是一年兩年還是五年十年
·用戶查詢數據的主要方式如在時間維度上是按照自然年還是財政年
·用戶所能接受的響應時間是多長是幾秒鐘還是幾小時
由于雙方在理解上的差異,確定問題和了解問題可能是一個需要多次往復的過程,信息部門的人員可能需要做一些原型演示給業務部門的人員看,以最終確定系統將要實現的功能,確實是業務部門所需要的。
二、選擇滿足數據倉庫系統要求的軟件平臺
在數據倉庫所要解決的問題確定后,第二個步驟就是選擇合適的軟件平臺。包括數據庫建模工具、分析工具等。這里有許多因素要考慮,如系統對數據量響應時間分析功能的要求等,以下是一些公認的選擇標準:
·廠商的背景和支持能力能否提供全方位的技術支持和咨詢服務
·數據庫對大數據量(TB級)的支持能力
·數據庫是否支持并行操作
·能否提供數據倉庫的建模工具,是否支持對元數據的管理
·能否提供支持大數據量的數據加載轉換傳輸工具(ETT)
·能否提供完整的決策支持工具集,滿足數據倉庫中各類用戶的需要
三、建立數據倉庫的邏輯模型
具體步驟如下
1、確定建立數據倉庫邏輯模型的基本方法
2、基于主題視圖把主題視圖中的數據定義轉到邏輯數據模型中
3、識別主題之間的關系
4、分解多對多的關系
5、用范式理論檢驗邏輯數據模型
6、由用戶審核邏輯數據模型
四、邏輯數據模型轉化為數據倉庫數據模型
具體步驟如下
1、刪除非戰略性數據,數據倉庫模型中不需要包含邏輯數據模型中的全部數據項,某些用于操作處理的數據項要刪除
2、增加時間主鍵數據,倉庫中的數據一定是時間的快照,因此必須增加時間主鍵
3、增加派生數據,對于用戶經常需要分析的數據,或者為了提高性能可以增加派生數據
4、加入不同級別粒度的匯總數據,數據粒度代表數據細化程度,粒度越大數據的匯總程度越高,粒度是數據倉庫設計的一個重要因素,它直接影響到駐留在數據倉庫中的數據量和可以執行的查詢類型,顯然粒度級別越低則支持的查詢越多,反之能支持的查詢就有限
對數據操作的效率與能得到數據的詳細程度是一對矛盾,通常人們希望建成的系統既有較高的效率,又能得到所需的詳細資料,實施數據倉庫的一個重要原則就是不要試圖包括所有詳細數據,因為%的分析需求是在匯總數據上進行的,試圖將粒度細化到最低層只會增加系統的開銷降低系統的性能。
五、數據倉庫數據模型優化
數據倉庫設計時性能是一項,主要考慮因素在數據倉庫建成后也需要經常對其性能進行監控并隨著需求和數據量的變更進行調整。
優化數據倉庫設計的主要方法是
·合并不同的數據表
·通過增加匯總表避免數據的動態匯總
·通過冗余字段減少表連接的數量不要超過~個
·用ID代碼而不是描述信息作為鍵值
·對數據表做分區
六、數據清洗轉換和傳輸
由于業務系統所使用的軟硬件平臺,不同編碼方法不同,業務系統中的數據在加載到數據倉庫之前必須進行數據的清洗和轉換,保證數據倉庫中數據的一致性。
在設計數據倉庫的數據加載方案時必須考慮以下幾項要求
·加載方案必須能夠支持訪問不同的數據庫和文件系統
·數據的清洗轉換和傳輸必須滿足時間要求能夠在規定的時間范圍內完成
·支持各種轉換方法各種轉換方法可以構成一個工作流
·支持增量加載只把自上一次加載以來變化的數據加載到數據倉庫
七、開發數據倉庫的分析應用
建立數據倉庫的最終目的是為業務部門提供決策支持能力,必須為業務部門選擇合適的工具,實現其對數據倉庫中的數據進行分析的要求。
信息部門所選擇的開發工具必須能夠:
·滿足用戶的全部分析功能要求,數據倉庫中的用戶包括了企業中各個業務部門他們的業務,不同要求的分析功能也不同,如有的用戶只是簡單的分析報表,有些用戶則要求做預測和趨勢分析
·提供靈活的表現方式分析的結果,必須能夠以直觀靈活的方式表現,支持復雜的圖表使用,方式上可以是客戶機/服務器方式也可以是瀏覽器方式
事實上沒有一種工具能夠滿足數據倉庫的全部分析功能,需求一個完整的數據倉庫系統的功能可能是由多種工具來實現,因此必須考慮多個工具之間的接口和集成性問題,對于用戶來說希望看到的是一致的界面。
八、數據倉庫的管理
只重視數據倉庫的建立而忽視數據倉庫的管理必然導致數據倉庫項目的失敗,數據倉庫管理主要包括數據庫管理和元數據管理。
數據庫管理需要考以下幾個方面
·安全性管理。數據倉庫中的用戶只能訪問到他的授權范圍內的數據數據在傳輸過程中的加密策略
·數據倉庫的備份和恢復。數據倉庫的大小和備份的頻率直接影響到備份策略
·如何保證數據倉庫系統的可用性硬件還是軟件方法
·數據老化。設計數據倉庫中數據的存放時間周期和對過期數據的老化方法,如歷史數據只保存匯總數據當年數據保存詳細記錄
然而元數據管理貫穿于整個系統的建設過程中,元數據是描述數據的數據,在數據采集階段元數據主要包括下列信息:
·源數據的描述定義類型位置結構
·數據轉換規則編碼規則行業標準
·目標數據倉庫的模型描述星型/雪花模型定義維/事實結構定義
·源數據到目標數據倉庫的映射關系函數/表達式定義
·代碼生成轉換程序自動加載程序等
在數據管理階段元數據主要包括下列信息
·匯總數據的描述匯總/聚合層次物化視圖結構定義
·歷史數據存儲規則位置存儲粒度
·多維數據結構描述立方體定義維結構度量值鉆取層次定義等
在數據展現階段元數據主要包括以下信息
·報表的描述報表結構的定義
·統計函數的描述各類統計分析函數的定義
·結果輸出的描述圖表輸出的定義
元數據不但是獨立存放而且對用戶是透明的標準元數據之間可以互相轉換
核心關注:拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理,全面涵蓋了企業關注ERP管理系統的核心領域,是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://www.guhuozai8.cn/
本文標題:如何建設ERP數據倉庫
本文網址:http://www.guhuozai8.cn/html/consultation/10820511556.html