工程機械行業普遍使用大型ERP軟件系統，如SAP、ORACLE等。這些軟件系統功能強大，各模塊集成度很高，極大地提升了對公司各項業務的支持能力。但是，隨著IT技術的發展，伴隨著功能擴展和集成度提高同時，也給業務系統帶來了巨大的數據增長量。
以廣西柳工機械股份有限公司(以下簡稱柳工)的ERP系統實施進程為例，1996年部署的TCM—EMS系統(MRPⅡ系統)最大數據量只有5GB，2000年部署的IFS系統(ERP系統)最大數據量接近100GB，2006年上線的SAP系統(ECC6版本)僅初始安裝數據量就接近300GB，系統上線后ERP數據量增長迅速，一個月的數據增長超過原系統幾年的數據增長，系統數據的增速是越來越快。隨著業務的增長以及對數據存儲、保存和可用性存在法規上的要求，面對著不斷增長的數據，這些數據的備份成為各公司和組織的當務之急。并且，數據量的劇增造成系統的負荷加重，性能需求加大，必須采購更高級的服務器(更多的CPU和內存)來滿足性能需求，同時需要不斷對存儲進行擴容以滿足容量需求。而生產系統數據量增加，配套的質量保證系統(用于測試)數據量需要增加，相應的主存儲需要擴容，備份存儲也需要擴容，同時備份設備也需要擴容，環環相扣，給系統的IT基礎架構帶來了巨大的壓力。
然而，數據也是有生命周期的。隨著時間的推移，數據的重要性和關鍵性都會改變。大部分產生的數據都只在短時間內有重要性，時間一長就不那么重要了，這一點決定了數據存儲解決方案的使用。由于法規性及審計要求，特定的業務數據有保留期，并且在審計時能夠讀取或在必要的時候可以再次使用，這使得SAP系統的數據將會有相當長的保留期限，對某些財務數據來說，保存期可能達到15年以上。面對這種壓力，僅僅依靠簡單硬件的升級來提升性能和擴容容量，既不經濟也難以持續滿足未來需求，數據歸檔的需求應運而生。
1.數據歸檔原理分析
根據不同的數據類型和應用，數據歸檔可以分為3類：數據庫歸檔、記錄歸檔和內容歸檔。出于性能考慮，大型ERP系統的數據主要存放于后臺數據庫中，以便隨時能訪問所需數據。當數據庫數據量較小時，其大小對性能影響不明顯；但當數據庫數據量增加很多，數據表的大小達到幾百萬甚至上千萬條數據，數據庫容量也達到幾百GB或幾千GB時，量變已經引起質變，需要多方優化并且控制整個數據庫的數據規模，才能保證數據庫的性能水平不降低。因此，對于制造業的ERP系統來說，其數據歸檔的主要內容是對ERP數據庫的歸檔。
簡單的說，數據歸檔就是將不再需要頻繁訪問并且以后也不會再發生變化的數據，從數據庫中轉移到歸檔文件中去，然后將這部分數據從在線數據中刪除，以降低在線數據的數據庫容量，提升數據庫的性能，進而整體提升業務系統的性能。數據庫是結構化的數據集合，“數據歸檔的核心是標識數據庫中非活動數據，然后將活動數據從中央數據庫中分離出來存儲，至更廉價的存儲設備。通常將應用系統的歸檔文件存儲在外部歸檔介質或系統上，并且被歸檔出去的數據還可以通過多種方式進行訪問，部分數據可以重載到系統中。現以SAP系統的數據歸檔來進行說明，數據歸檔原理如圖1所示。
圖1 SAP數據歸檔原理圖
由圖1可知，要進行數據歸檔，首先需要標識出滿足數據歸檔條件的數據：但是如何讓系統知道哪些數據能夠被歸檔呢?對SAP系統來說，只有滿足以下兩方面條件的數據才允許被歸檔：第一，業務已經完結且憑證記錄完整；第二，數據的駐留期小于歸檔時間與數據創建時間之差。這需要了解SAP數據歸檔中的一個重要概念——駐留期。駐留期是指數據從創建到允許進行歸檔的時間。通過對駐留期的定義，可以在成千上萬的數據中將可以歸檔的部分區分出來，使數據歸檔具有可行性。駐留期與保留期的區別如圖2所示。
圖2 駐留期示意圖
2.現行國內工程機械行業SAP系統使用分析
大部分企業在SAP上線時，都會上FI/CO/MM/SD模塊，PP模塊通常只在制造業才會使用，由于工程機械企業的離散制造的特點，決定了其PP模塊使用會更為復雜，因此工程機械企業在使用SAP數據歸檔解決方案時，需要依據其自身的特點進行調整。國內一些主要工程機械企業均使用了SAP ERP系統，包括柳工、徐工集團、三一重工、中聯中科、廈工等在內。這些企業的業務模塊和基礎架構都有如下特點：
a.這些企業都使用了SAP的五大基本模塊：FI(財務會計)/CO(管理會計)/MM(物料管理)/PP(生產計劃)/SD(銷售和分銷)。部分企業還使用了QM(質量管理)/PM(工廠管理)/HR(人力資源)模塊。但由于離散制造業的特點，FI/CO/MM/PP4個模塊通常是數據的主要來源，是影響系統數據量的主要方面，其他模塊占數據總量的比例較小。數據歸檔的主要對象也將圍繞這4個模塊展開。
b.IT基礎架構上，這些企業的SAP系統都采用UNIX小型機+FC—SAN存儲架構。標準的IT基礎架構，使得數據歸檔方案可以相互借鑒和參照。
柳工和三一重工SAP系統上線時間較早，距今已經超過5年。通常，使用時間超過5年，應用系統各方面都會進入一個較為成熟穩定的階段，總體的業務方案及技術架構的調整不會過于劇烈和頻繁，具備了進行數據歸檔的基本條件。并且經過5年的使用，SAP系統的數據量也達到了一個較為龐大的規模，對IT基礎架構各性能、容量、備份等方面的要求也越來越高，實施數據歸檔的必要性也越來越迫切。目前柳工和三一重工均已實施了數據歸檔項目，其他的企業也將陸續面臨數據歸檔的問題。這兩個企業的數據歸檔項目的成功經驗也可以為后續企業提供有益的參考和項目思路。
3.柳工SAP數據歸檔方案介紹
柳工SAP R/3系統自2007年上線以來，核心系統SAP R/3數據量由上線時的300GB增長到2010年末的超過4 200GB，項目前SAP數據庫增長量超過4GB/天，系統數據量劇增造成系統響應速度變慢，系統運行效率降低，MRP運算時間由原來的十幾分鐘上升到幾個小時，系統備份時間由原來的幾個小時增長到30多個小時。于是，柳工在2011年開始啟動SAP數據歸檔項目。
柳工的數據歸檔采用ADK(Archive Development Kit)結合File System的方式進行，SAP數據歸檔架構如圖3所示。ADK是SAP標準模塊之一，SAP系統通過ADK接口提供結構化數據(TransactionalData)的歸檔功能，把數據從SAP數據庫系統中移出并歸檔到外部的文件系統。為提高效率，歸檔文件存放在UNIX小型機的文件系統中，以備后續的數據歸檔和歸檔數據查詢，并在歸檔后對系統數據庫進行優化重組，以釋放數據庫空間。
圖3 SAP數據歸檔架構圖
需要明確的是，數據歸檔項目不僅僅是IT部門的事情，它需要業務部門和IT部門高度合作，并在此基礎上共同計劃和實施的一個項目。實施過程在技術上分幾個階段進行。第一階段：分析和設計。定義歸檔對象、策略和流程。需要通過全面的數據分析，業務部門需要與IT部門高度合作，最終定義好歸檔對象和歸檔策略。需要注意的是，數據歸檔通常按年限進行，需要與各業務單位確認好歸檔的年份，通常在線數據會保留最近的2—3年。
柳工在開展項目時，通過與業務單位溝通，確定了保留兩年的在線數據。歸檔分析過程中，首要的是對SAP數據庫中TABLE of TOPl00(數據量排名前100的表)進行分析。TABLEl00數據庫表容量圖見表1。通過對大表的數據分析，最終將相關的數據表容量歸集到歸檔對象中，并按照年份形成歷年各個歸檔對象的數據分布，項目預期的歸檔目標可以在此基礎上產生。歸檔對象容量分析見表2。從表2中可以看到，PP—ORDER生產訂單的數據量非常大(>800GB)，這就是工程機械行業相對其他行業特別之處——大量的生產訂單，所以該對象的歸檔是重點需要考慮的問題。
表1 TABLEl00數據庫表容量圖
表2 歸檔對象容量分析表
第二階段：歸檔測試。完成歸檔配置、歸檔開發以及歸檔測試。通過第一階段的分析，對本項目的歸檔情況已經有了初步的預期。可以依據確定的歸檔年限，進行相應的系統配置，本項目歸檔2007年、2008年、2009年這3年的數據。由于只有完結了業務流程的數據才能被歸檔，所以通過與業務部門的充分溝通，可以促成業務部門對部分長期未清業務進行清理，一定程度上提高業務的規范性。一個基本的歸檔過程(或歸檔循環)通常有3個步驟。數據歸檔過程如圖4所示。業務對象的歸檔有相應的先后順序，總體上通常是按照模塊CO/FI/MM/PP/SD的順序來進行。由于數據歸檔后，大部分的數據不能通過原來的事物代碼進行訪問，因此需要通過特定歸檔事物碼SARI訪問。對于很多自開發的報表，必須要通過對信息結構進行配置及進行相應的歸檔開發，才能保證數據歸檔后，能夠按照正確的邏輯進行讀取、匯總和計算。對于個別需要經常性讀取在線數據和歸檔數據的標準事物代碼，需要進行歸檔增強開發。本階段主要難點在于清理歸檔區間內的未結業務和進行歸檔開發。
圖4 數據歸檔過程
第三階段：歸檔實施。調整歸檔策略，歸檔配置并完成生產系統的正式歸檔。由于測試環境和生產環境的差異，測試時通過的配置參數在生產系統實施時，有很大幾率因性能或其他問題而需要進行調整，才能不影響生產系統正常業務的運行。同時，歸檔的開發工作在此階段也持續進行，業務部門需要經常對信息結構進行優化，并且需要對最終用戶進行充分培訓，以保證獲取業務數據的準確性。
第四階段：上線和支持。重組數據庫，歸檔確認和后續技術支持。完成數據歸檔后，對數據庫進行重組以釋放數據庫空問并提升性能，處理歸檔開發中可能遺漏的BUG。同時，由于歸檔數據不會發生修改，因此對歸檔數據的備份不需要頻繁進行，可以以較低的備份頻率進行備份，以縮減備份窗口，降低對備份設備存儲資源的占用。
柳工通過6個月的項目實施，成功完成了對24個歸檔對象實施歸檔，保證歸檔數據安全可查。通過數據歸檔釋放生產系統數據庫空間，降低生產系統數據庫容量，縮短系統響應時間，提高系統性能，總體來看數據庫空間減少1.24TB，約占歸檔前總數據量的32%，達到數據庫容量減少30%的預期目標。通過對SAP系統的數據歸檔，可以給企業帶來如下的收益：
a．SAP系統的響應時間有明顯的改善，報表整體查詢效率提高，有效地提高員工的工作效率；
b．通過提高系統的運行效率，連帶提高與SAP集成的系統接口運行效率，減少客戶因系統響應問題產生的投訴，提高了服務質量；
c．縮短了系統的備份時間和恢復時間，從而整體上提高了系統的安全性；
d．通過將過期的數據從數據庫剝離出去，可以降低總體擁有成本(TCO)，如對主機系統、存儲系統、備份系統的投入；
e．由于數據量增速下降，連帶降低了對數據庫及存儲進行優化、擴容的維護工作量，降低SAP系統的維護成本和風險；
f．建立了數據管理機制，保證柳工SAP系統數據庫容量增長保持相對穩定目標的實現。
4.結束語
在工程機械行業中開展數據歸檔項目，其實施過程中需要充分考慮行業自身的特點，才能達到可預期的結果。數據歸檔技術在ERP系統上的應用通常表現為對數據庫的歸檔，對解決企業ERP系統數據量劇增問題有著極為明顯的優勢。作為一個軟件為主導而又能影響硬件的方案，它摒棄了傳統的硬件為主的對應方案，從根本上減弱ERP系統大數據對硬件的依賴，成為軟硬結合、治標治本的解決方案。隨著軟硬件技術的不斷發展，對應的各種解決方案也將呈現出新的軟硬件結合的趨勢，只有多方技術設備結合使用，才能獲取最優TCO解決方案。
轉載請注明出處：拓步ERP資訊網http://www.guhuozai8.cn/
本文標題：SAP數據歸檔在工程機械企業中的應用
本文網址：http://www.guhuozai8.cn/html/consultation/10839313326.html
相關文章
