3.2數據分級方法的性能
本文通過在Tri-Right系統上進行trace驅動的實驗，評價了AutoMig的性能，實驗中使用的文件訪問trace是由加州大學伯克利分校的Roseli等人采集的research trace。
為了創建分級存儲系統中真實的數據分布狀態，在播放訪問trace的同時，模擬重演了30天的文件遷移行為，不管trace中的訪問間隔，記錄文件遷移狀態而不進行真正的數據操作，得到最終的系統狀態，包括文件大小、文件位置、LRU隊列信息和訪問情況統計等，然后，在Tri-Right系統中將模擬得到的系統狀態恢復過來，這樣，既得到了實驗所需的初始狀態，又避免了真實系統上長期播放trace所需的大量時間。
在Tri-Right系統上播放research trace中第31天前12 h的訪問記錄，高速存儲設備容量取值為1 GB.元數據服務器軟件分別采用LRU，GreedyDualSize和AutoMig 3種數據分級策略，前面兩種數據分級策略數據升級評價都是采用on-demand方式，有訪問就升級遷移；數據降級評價分別采用LRU和GreedyDualSize算法進行替換。
圖3給出了使用3種不同數據分級策略下前臺I/O的平均響應時間的變化情況，橫坐標為trace搖放時間，對應縱坐標表示從O到該時間點范圍內的平均I/O響應時間，可以看出，在幾乎全部實驗過程中，AutoMig的平均I/O響應時間明顯低于使用其他兩種策略時的平均I/O響應時間，結果表明：與LRU和GreedyDualSize相比，AutoMig的平均I/O響應時間分別下降了10. 11%和39. 39%。
圖3 不同數據分級策略下的響應時間對比
AutoMig響應時間更短的原因在于AutoMig遷移更少的數據量，圖4對比了3種數據分級策略的數據遷移總量，在使用AutoMig策略時，數據遷移量比LRU和GreedyDuaISize分別減少了70. 71%和90, 47%。
圖4 不同數據分級策略下的數據遷移量對比
3.3 關聯文件挖掘的效果
這一組實驗使用的文件訪問trace是伯克利的instruction trace.把長的訪問trace切割成序列數據庫，使用的切割長度為100-實驗中，最小支持度和最小可信度都取不同的值。
AutoMig首先要得到頻繁閉合序列，在得到頻繁閉合序列后，需要進一步生成無冗余的強關聯規則，實驗中，我門針對0. 3,0. 4,0.5三種不同的最小支持度選取頻繁閉合序列，最小可信度閾值都取值為85%，圖5給出了AutoMig生成的無冗余的強關聯規則個數，并分別給出了“1-規則”和“2-規則”的數目，可以看出，從文件訪問trace中能夠得到大量關聯規則，另外，“2-規則”的數目相當可觀，已有的文件預取方法忽略掉文件之間的3者關系，確實丟掉了一些寶貴的文件預取機會。
圖5 生成的無冗余的強關聯規則
下面測試最小可信度取值對所生成的關聯規則的數目的影響，最小支持度閾值固定為0.5，將最小可信度閾值從75%改變到90%，圖6給出了最小可信度取值不同時生成的關聯規則的數目，可以看出，隨著最小可信度閾值的增加，所生成的關聯規則明顯減少，當最小可信度閾值取為90%時，關聯規則數目為698，在最小可信度閾值從75%變化到90%的過程中，關聯規則數目都較大。
圖6 最小可信度取值對生成關聯規則的影響
3.4 速率控制的效果
評價AutoMig的速率控制效果包括微觀測試和宏觀測試2部分，首先是從微觀上觀察AutoMig在負載變化時是如何控制數據遷移速率的，播放伯克利的research trace的同時，在Tri-Right系統內部記錄負載變化情況，以及相應的數據遷移速率，實驗中系統參數取值為W=100 IOPS.圖7給出了前臺I/O負載密集程度和數據遷移速率的對應關系，隨著負載的波動，遷移速率相應地動態變化，速率變化的拐點都是受當前負載狀態反饋的影響，同時，遷移速率并不完全隨著負載抖動而抖動，而是反映負載變化的整體趨勢。
圖7 遷移速率隨負載的變化
宏觀測試是對比在完成同樣的遷移任務時，使用和不使用AutoMig遷移速率控制下前臺I/O響應時間，實驗中遷移20個大小為512 MB的文件，使用并行文件系統性能測試工具IOR來生成前臺I/O負載，并收集I/O延遲，每次測試包括兩輪循環，每輪循環都包括文件打開、讀寫、關閉等操作。
圖8給出了有無AutoMig速率控制的前臺I/O響應時間對比，其中，read0，write0分別表示第1輪循環中的讀、寫請求的平均響應時間；readl,writel分別表示第2輪循環中的讀、寫請求的平均響應時間，對比有無AutoMig速率控制2種情況：第1輪循環中的寫請求，AutoMig速率控制降低了前臺I／O響應時間47．84％；第1輪循環中的讀請求，AutoMig速率控制降低了前臺I／O響應時間13．03％。第2輪循環中的寫請求降低了前臺I／O響應時間29．98％；第2輪循環中的讀請求降低了前臺I／O響應時間40．47％。
圖8 有無AutoMig速率控制的前臺I/O響應時間對比。
4 結論
本文提出了分級存儲系統中一種數據自動遷移方法AutoMig.數據動態分級策略綜合考慮了文件訪問歷史、文件大小、設備的空間利用情況，在大幅降低數據遷移量的同時，提供更高的I/O性能，使用數據挖掘技術來有效識別系統中的文件關聯性，預取被訪問文件的關聯文件可以降低對這些文件的訪問延遲，數據遷移的速率控制，在前臺I/O性能影響和數據遷移完成期限之間尋找合理的權衡。AutoMig方法已用于分級存儲系統中，實驗結果表明AutoMig有效縮短了前臺I/O響應時間。
核心關注：拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理，全面涵蓋了企業關注ERP管理系統的核心領域，是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處：拓步ERP資訊網http://www.guhuozai8.cn/
本文標題：分級存儲系統中一種數據自動遷移方法(下)
相關文章
