數據挖掘通常包括數據搜集、數據分析處理、規律知識展示以及知識運用等幾項因素.然而在現實社會中絕大多數的數據均受到了一定程度的污染,導致了基本所以進行挖掘及處理的數據都是一些受污染的損壞數據池就是說,沒有健康的原始數據做依托,根本無法得出科學可靠的規律知識.在這些大量且繁雜的數據中部分數據屬于冗余數據部分屬于無關數據還有部分屬于損壞數據,它們直接影響了規律知識的研發因此應當充分研究并利用數據挖掘技術從而確保數據的健康可用性肩利于數據分析處理與規律知識研發等后期工作的順利開展。

1數據挖掘的定義及其特征

    數據挖掘指的是從數據庫里挖掘出可用的、新穎的、有價值的并且模式規范的數據的一個實現過程。數據挖掘即依據數據庫中數據的高效存儲功能,利用機器技術的新型設計理念將具有潛在利用價值的數據知識挖掘出來.因此,數據挖掘技術屬于數據統計技術、機器技術與數據庫處理技術三者結合運用的成果,其多應用于工程上進行規律知識的研發。

    數據挖掘同時也可以表述為一種用于大量繁雜數據處理的方法相對與人腦而言啟能夠更快速地獲取有用的數據信息。因此六們習慣性地賦予了數據挖掘另一個專業術語,即知識發現。

    數據挖掘具有以下主要特征首先能夠對數量龐大且紛繁復雜的數據進行有效的處理淇次能夠實現對數據信息的自動搜索再次能夠通過數據統計分析總結歸納其規律知識并做出一定的預測最后經過挖掘的數據能夠快速及時的展示數據的規律知識。

2數據挖掘過程的基本步驟

    通常情況下數據挖掘過程包括明確問題、數據準備、算法選定、模式評估以及知識表示五個基本步驟,具體如下:

    2.1明確問題

    整個數據挖掘過程的目的是從大量繁雜的數據中獲取有價值的可用數據信心,所以在進行數據挖掘之前明確所要獲取的數據知識是整個挖掘過程中極為關鍵的一步.在明確問題的過程中除了要根據實際情況明確相關要求外，還需要明確應當采用哪些切實可行的數據挖掘技術方法。

    2.2數據準備

    數據準備的具體內容包括數據篩選、數據處理以及數據轉換三個方面。數據篩選時為了確定進行數據挖掘的具體對象，即結合實際工作需要從數據庫中選取一定的數據.數據處理主要是對數據進行形式轉換、噪音消除、缺省值推導以及重復數據合并等處理。數據轉換則是為了盡可能的縮減數據維數為后期的數據統計分析提供便利。

    2.3算法選定

    算法選定指的是數據挖掘算法的選擇與確定.在根據明確問題的具體數據挖掘任務及目標(如數據聚類、關聯規則及數據模式確定等)之后便要選定恰當的數據挖掘算法.在算法選定過程中,應當根據不同數據的數據特征以及實際工作的運行系統的具體要求進行選擇。

    2.4模式評估

    在數據的挖掘結果中,存在著部分沒有利用價值或者與違背實際規律的結果因此對挖掘結果進行模式評估是十分必要的一般情況下河以通過結合相關工作經驗或者利用實際數據信息對挖掘模型的準確性進行評估,從而不斷地調整并完善數據挖掘模型。

    2.5知識表示

    知識表示也就是決策者對數據挖掘結果的分析決策,即決策者依據挖掘結果并結合具體工作情況對相關策略不斷地進行調試的過程。

    上述步驟并非可以一步到位,或許需要不斷反復進行某個或某些步驟才能得到最佳效果。

3數據挖掘的技術方法

    數據挖掘的技術方法多種多樣,比如神經網絡、統計分析法、決策樹歸納法、遺傳算法、粗糙集理論、模糊集理論、可視化、分類法、規則歸納法、證據理論、聚類法、數據倉庫等等.本文就以下幾種主要的、常用的數據挖掘技術方法進行概述:

    3.1決策樹歸納法

    決策樹歸納法就是通過依據信息增益來獲取數據庫中信息字段的大小來設立決策樹的節點,再依據字段的取值范圍來確定決策樹的各個分支.通過一層一層地不斷建立決策樹節點與分支便形成了決策樹。決策樹歸納法常用于對數據進行分類及預測。

    3.2神經網絡

    神經網絡計算模型的建立源自于仿造人體的神經網絡結構以及其他人體工作機能.神經網絡是以學習模式為腳本并以此來控制神經元鏈接的權值大小(即強度).神經網絡計算模型具有通過利用眾多神經元說鏈接形成的神經網絡進行大規模的逐步計算的重要特征。

    3.3統計分析法

    統計分析法在挖掘數據的關聯信息上起到重要作用.通過統計及分析數據關系表中的各項數據特性,獲取數據信心間的內在聯系.通常情況下數據關系表的數據特性間的關系有相關關系與函數關系.常用的統計分析方法包括回歸分析、相關性分析以及規律分析等等。

    3.4模糊集理論

    模糊集理論主要應與處理或者展示數據的不確定模型。此外膜糊集理論除了能夠處理或展示不完整數據、不精準數據或者噪音數據以外還能夠研發數據的不確定模型并確保其靈活性與平滑性。

    3.5遺傳算法

    遺傳算法是在自然選擇學說和基因遺傳學說的基礎上建立起來的并以達爾文進化論理論為模擬藍本在計算機操作算法的一門學科吼具體來說是通過其中的一種算法把任何一種種群放到這種算法操作中產生新的個體再讓這一新個體選擇到更好的區域并在這個區域不斷虛擬進化,最后讓這些能適用的新環境的新個體集合成新的群體,同時這些新個體又被賦予了一個新的適合值,這就是遺傳算法。遺傳算法的主要功能是用在分類和組合上。

    3.6粗糙集理論

    粗糙集理論在上世紀的八十年代中首先被提出,相對于其他計算方法啟是一種軟計算方法能夠處理不完全或者不確定的信息對不同的屬性值進行離散分析再對這些屬性劃分類別再集合等價最后是決策最終獲取規則。實現數據挖掘技術的成功處理。

4數據挖掘的應用

    在國內數據挖掘技術的應用并不算廣泛,僅在上海寶鋼等一些大型企業有所應用,并且僅僅把數據挖掘技術當成是一種輔助的工具對生產進行輔助決策河是卻能提高生產的效率節約成本.在全球上數據挖掘技術的應用很廣泛具體如下:

    4.1科學研究方面

    數據挖掘技術能夠應用到天文學科學領域、生物科學研究領域、物理科學研究領域等領域中,尤其是在微觀方面能夠用各種數據分析遙遠的星體的距離預測地球以外中星體狀況能夠通過先進儀器運用數據挖掘分析生物中的基因發現各種基因的異同然后研發出新的生物分子配置推動生物工程的發展.尤其是近些年來科學研究領域中對微觀科學研究越來越重視數據挖掘更是得到飛速發展。

    4.2商業經營方面

    當今商業領域的競爭尤其激烈除了有一流的人才廠流的管理和一流的設備以外,對數據的收集也是非常的關鍵.如在零售業中商品的銷售量都不一樣單靠人工操作,也只能粗淺分析某一商品的銷量的多少,并不能分析某一類商品的性質和類別購買的群體等.而各種數據不斷增加,人工效率不高嘰運用數據挖掘知識技術能夠讓經營者在最短的時間內做出最有利的判斷制定各種商業經營策略預測各種銷售情況.很多大型的外國公司都很好利用了數據挖掘技術加運用Inetlligent Miner系統挖掘顧客的購物行為。

    4.3金融投資方面

    股市有風險投資需謹慎單憑個人的經驗以及所學到的一些金融知識我們只能從宏觀上把握整體的金融走勢,然而若要從微觀去把握和分析某一種金融項目進行投資,則需要運用各種數據挖掘,通過這些數據才能處理人無法判斷和分析的內容最終才能做出最合適的選擇.例如我們能從股市中的各種微觀數據判斷整個大盤的走勢,而不僅僅是純粹了解國家的宏觀政策。
    4.4醫療設備方面

    當代的醫療技術發展很快,這得益于一些先進的設備的使用.通過這些先進的設備能夠分析各種藥物的分子和原子結構結合病情案例進行分析整合在不同的分子結構和基因結構快速地轉換和檢查得出治療的最佳方案。同時還能夠用不同的數據挖掘配出各種新藥治療其他的病癥。

    4.5保險評估方面

    保險業本身是給顧客辦理保險的,但保險本身就是個行業保險行業也是以盈利為目的因而對于一些高風險的生意同樣需要檢測評估若是風險大的保險領域則需要挖掘高風險的數據對這些數據評估、檢測、然后做出判斷最后知道保險公司的進一步經營.在當今內容多煩雜亂競爭異常激烈的保險業務能夠建立數據挖掘數據系統,能夠促進保險業務的發展。

    4.6通信網絡方面

    網絡通信中有很多網絡警告語,有的警告語是可以理解的肩的警告語是可以忽視的但是有的警告語必須及時處理,這些急需處理的警告語一般都是根據人的經驗去處理這樣的處理大大降低了工作效率增加了很多成本。數據挖掘恰恰能彌補這個效率不高的短板,它通過分析各種警告數據再獲取各種警告數據之間的邏輯關系和數據關系,從而做出正確的判斷。通過數據挖掘能有效地處理通信網絡的故障還能檢測可能發生故障的網絡。

5結語

    對于數據挖掘規在全球都處于一個起步的研究階段,無論是科學理論、科學方法還是各種軟件技術都不是很成熟但是由于其能融合各種數據分析、工程知識、各種統計數據、交互環境等各種學科的特點對人類有很大的應用價值。

核心關注：拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理，全面涵蓋了企業關注ERP管理系統的核心領域，是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。

轉載請注明出處：拓步ERP資訊網http://www.guhuozai8.cn/

本文標題：淺析數據挖掘的技術方法及應用

本文網址：http://www.guhuozai8.cn/html/consultation/10820616311.html